修改Nginx源码实现worker进程隔离实现详解

发布时间：2023-02-17 12:48:20 所属栏目：Nginx 来源：互联网

导读：背景最近我们线上网关替换为了 APISIX，也遇到了一些问题，有一个比较难解决的问题是 APISIX 的进程隔离问题。 APISIX 不同种类请求的互相影响首先我们遇到的就是 APISIX Prometheus 插件在监控数据过多时影响正常业务接口响应的问题。当启用 Prometheus

　　    if (worker == 0) { // 处理 0 号 worker
　　        ngx_setproctitle("isolation process");
　　        ngx_close_not_isolation_listening_sockets(cycle, ports, 3);
　　    } else { // 处理非 0 号 worker
　　        ngx_setproctitle("worker process");
　　        ngx_close_isolation_listening_sockets(cycle, ports, 3);
　　    }
　　}
　　这里新写了两个方法

　　ngx_close_not_isolation_listening_sockets：只保留隔离端口的监听，取消其它端口监听
　　ngx_close_isolation_listening_sockets：关闭隔离端口的监听，只保留正常业务监听端口，也就是处理正常业务
　　ngx_close_not_isolation_listening_sockets 精简后的代码如下：

　　// used in isolation process
　　void
　　ngx_close_not_isolation_listening_sockets(ngx_cycle_t *cycle, int isolation_ports[], int port_num)
　　{
　　    ngx_connection_t *c;
　　    int port_match = 0;
　　    ngx_listening_t* ls = cycle->listening.elts;
　　    for (int i = 0; i < cycle->listening.nelts; i++) {
　　        c = ls[i].connection;
　　        // 从 sockaddr 结构体中获取端口号
　　        in_port_t port = ngx_inet_get_port(ls[i].sockaddr) ;
　　        // 判断当前端口号是否是需要隔离的端口
　　        int is_isolation_port = check_isolation_port(port, isolation_ports, port_num);
　　        // 如果不是隔离端口，则取消监听事情的处理
　　        if (c && !is_isolation_port) {
　　            // 调用 epoll_ctl 移除事件监听
　　            ngx_del_event(c->read, NGX_READ_EVENT, 0);
　　            ngx_free_connection(c);
　　            c->fd = (ngx_socket_t) -1;
　　        }
　　        if (!is_isolation_port) {
　　            port_match++;
　　            ngx_close_socket(ls[i].fd); // close 当前 fd
　　            ls[i].fd = (ngx_socket_t) -1;
　　        }
　　    }
　　    cycle->listening.nelts -= port_match;
　　}
　　对应的 ngx_close_isolation_listening_sockets 关闭所有的隔离端口，只保留正常业务端口监听，简化后的代码如下。

　　void
　　ngx_close_isolation_listening_sockets(ngx_cycle_t *cycle, int isolation_ports[], int port_num)
　　{
　　    ngx_connection_t *c;
　　    int port_match;
　　    port_match = 0;
　　    ngx_listening_t   * ls = cycle->listening.elts;
　　    for (int i = 0; i < cycle->listening.nelts; i++) {
　　        c = ls[i].connection;
　　        in_port_t port = ngx_inet_get_port(ls[i].sockaddr) ;
　　        int is_isolation_port = check_isolation_port(port, isolation_ports, port_num);
　　        // 如果是隔离端口，关闭监听
　　        if (c && is_isolation_port) {
　　            ngx_del_event(c->read, NGX_READ_EVENT, 0);
　　            ngx_free_connection(c);
　　            c->fd = (ngx_socket_t) -1;
　　        }
　　        if (is_isolation_port) {
　　            port_match++;
　　            ngx_close_socket(ls[i].fd); // 关闭 fd
　　            ls[i].fd = (ngx_socket_t) -1;
　　        }
　　    }
　　    cle->listening.nelts -= port_match;
　　}
　　如此一来，我们就实现了 Nginx 基于端口的进程隔离。

　　效果验证
　　这里我们使用 18080~18082 端口作为隔离端口验证，其它端口作为正常业务端端口。为了模拟请求占用较高 CPU 的情况，这里我们用 lua 来计算多次 sqrt，以更好的验证 Nginx 的 worker 负载均衡。

　　server {
　　        listen 18080; // 18081,18082 配置一样
　　        server_name localhost;
　　        location / {
　　            content_by_lua_block {
　　                 local sum = 0;
　　                 for i = 1,10000000,1 do
　　                    sum = sum + math.sqrt(i)
　　                 end
　　                 ngx.say(sum)
　　            }
　　        }
　　}
　　server {
　　    listen 28080;
　　    server_name localhost;
　　    location / {
　　        content_by_lua_block {
　　             local sum = 0;
　　             for i = 1,10000000,1 do
　　                sum = sum + math.sqrt(i)
　　             end
　　             ngx.say(sum)
　　        }
　　    }
　　}
　　首先来记录一下当前 worker 进程情况。

　　可以看到现在已经启动了 1 个内部隔离 worker 进程（pid=3355），4 个普通 worker 进程（pid=3356~3359）。

　　首先我们可以看通过端口监听来确定我们的改动是否生效。

　　可以看到隔离进程 3355 进程监听了 18080、18081、18082，普通进程 3356 等进程监听了 20880、20881 端口。

　　使用 ab 请求 18080 端口，看看是否只会把 3355 进程 CPU 跑满。

　　ab -n 10000 -c 10 localhost:18080
　　top -p 3355,3356,3357,3358,3359
　　可以看到此时只有 3355 这个 isolation process 被跑满。

　　接下来看看非隔离端口请求，是否只会跑满其它四个 woker process。

（编辑：莱芜站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

2/3

首页

尾页