全栈应用服务器

  • 全栈应用服务器 > 最佳实践 > 如何配置沙箱文件描述符上限:nofile

    如何配置沙箱文件描述符上限:nofile

    最近更新时间: 2026-11-19 18:20:35

    如何配置沙箱文件描述符上限:nofile

    在沙箱中运行 CI、数据库或并发网络任务时,应用可能希望将文件描述符上限提高到 65536,却发现当前进程的硬限制只有 4096。本文介绍如何确认限制来源,通过自定义基础镜像持久化配置,并在新模板创建的沙箱中验证实际效果。

    本文适用于以 systemd 管理 envd.service 的 Linux 沙箱。envd 是沙箱内负责接收命令、启动进程等操作的运行时服务。以下以 65536 为配置示例,实际取值应结合应用要求、并发规模和内存预算确定。

    识别现象与影响

    任务日志可能出现以下告警:

    Warning: runner hard nofile is 4096; using it instead of requested 65536
    

    这类告警通常由任务脚本主动输出:脚本请求 65536,检测到当前硬限制为 4096,于是把软限制设置为 4096 后继续执行。它表示实际配置低于预期,并不等于文件描述符已经耗尽,也不一定导致任务失败。任务能够继续执行,也不能证明限制已经满足应用要求。

    通过与实际任务相同的命令执行入口,在沙箱内的 Bash 中检查:

    printf 'soft=%s hard=%s\n' "$(ulimit -Sn)" "$(ulimit -Hn)"
    awk '/Max open files/ {print}' /proc/$$/limits
    

    受影响环境的输出可能为:

    soft=4096 hard=4096
    Max open files            4096                 4096                 files
    

    还需要结合应用日志判断是否真的触及限制。EMFILE 通常表示单个进程的文件描述符耗尽;ENFILE 通常表示系统范围的文件表资源不足,需要另行检查系统资源。

    对于正在运行的应用,可以检查其限制和当前用量。将下面的 PID 换成实际进程 ID,并使用有权读取该进程信息的用户执行:

    APP_PID=1234
    awk '/Max open files/ {print}' "/proc/${APP_PID}/limits"
    find "/proc/${APP_PID}/fd" -mindepth 1 -maxdepth 1 -type l | wc -l
    

    单次采样只反映当时的用量。判断容量是否足够,应覆盖启动阶段和并发峰值,并观察是否存在持续增长的文件描述符泄漏。

    先确认限制在哪一层

    在使用平台生成的沙箱模板时,可以把当前实现的启动链路理解为:

    guest systemd PID 1
      └─ envd.service
           └─ /usr/bin/envd
                └─ 通过沙箱命令接口启动的进程
                     └─ CI 执行器、数据库或其他子进程
    

    当前 Sandbox 模板生成的 envd.service 显式设置了 LimitCORE,没有设置 LimitNOFILE;envd 启动用户命令时也不会替子进程重新设置 RLIMIT_NOFILE。因此,envd.service 启动时得到的限制会沿父子进程链继承。模板生成逻辑位于 packages/orchestrator/internal/template/build/core/rootfs/files/envd.service.tpl,基础阶段设置的 fs.inotify.max_user_watches 与 nofile 是两个独立限制。

    不要只检查 PID 1:systemd 管理器自己的 Max open files 数值较高,也不能证明 envd.service 或实际任务进程使用了同样的限制。应同时检查 unit 的有效配置、envd 进程和实际任务入口。

    理解限制的继承关系

    nofile 对应 Linux 的进程资源限制 RLIMIT_NOFILE。文件、网络 socket、管道等都会占用文件描述符。

    概念 含义
    soft limit(软限制) 当前实际生效的限制,使用 ulimit -Sn 查看
    hard limit(硬限制) 非特权进程能够把软限制提高到的上限,使用 ulimit -Hn 查看
    LimitNOFILE=soft:hard systemd 为某个服务启动进程时设置的软、硬限制

    子进程通常继承父进程的资源限制,程序或启动脚本也可能在启动过程中重新设置它们。通过沙箱命令接口启动任务时,典型链路为:

    systemd
      └─ envd.service
           └─ 命令启动进程
                └─ CI 执行器或应用
                     └─ Shell、数据库等子进程
    

    如果 envd.service 的有效硬限制为 4096,后续普通用户进程仅执行 ulimit -Sn 65536 无法突破这个硬限制。提高硬限制需要相应权限,并应放在正确的进程启动边界上。

    服务没有显式配置 LimitNOFILE 时,会受到 systemd 默认配置和启动环境的影响。不同基础镜像及 systemd 版本的默认值可能不同,4096 不是所有沙箱的固定上限。PID 1 自身的限制也不能代替 envd 或应用进程的实际限制。

    在较老的 systemd 版本(例如 Ubuntu 16.04 使用的 v229)中,PID 1 可能在启动后显示较高的 Max open files,但服务默认值仍保留启动阶段的较低限制。因此即使 /proc/1/limits 显示 65536,没有显式 LimitNOFILE 的 envd.service 仍可能得到 4096:4096。

    在基础镜像中持久化配置

    推荐在构建自定义基础镜像时,为 envd.service 添加独立的 systemd drop-in 文件。沙箱构建器会在模板 rootfs 中写入主服务文件;drop-in 位于独立目录,不会因为主服务文件重新生成而丢失,systemd 首次启动 envd 时即可读取该配置。

    在现有基础镜像 Dockerfile 中增加:

    RUN install -d -m 0755 /etc/systemd/system/envd.service.d \
        && printf '%s\n' \
             '[Service]' \
             'LimitNOFILE=65536:65536' \
           > /etc/systemd/system/envd.service.d/90-nofile.conf \
        && chmod 0644 /etc/systemd/system/envd.service.d/90-nofile.conf
    

    最终生成的文件内容为:

    [Service]
    LimitNOFILE=65536:65536
    

    drop-in 只设置所需属性,保留平台提供的主服务定义及其启动参数。此配置作用于 envd 及继承其限制的子进程;如果应用由另一个 systemd 服务独立启动,需要检查并配置那个服务。

    上述配置同时提高软、硬限制,适用于已经确认支持该上限的应用。使用传统 select() 接口的程序通常无法处理编号达到或超过 1024 的文件描述符,旧应用应先检查兼容性。需要保留较低默认软限制时,可以采用 LimitNOFILE=1024:65536,再由兼容的应用在自身启动链路中提高软限制。

    为什么放在基础镜像中

    沙箱模板可能包含运行中进程的快照。在 envd 已启动后,通过模板命令写入 drop-in,文件虽然已保存,已有 envd 进程仍可能保持旧限制。恢复这份快照也会保留进程状态。

    把配置放入基础镜像,可以让它在 envd 首次启动前就存在,减少构建过程中重启服务的需要。应通过真正的 Docker 镜像构建生成该文件,再以这个新镜像构建沙箱模板;仅将 Dockerfile 解析为模板中的运行命令,配置执行时机可能不同。

    Docker 构建阶段只需写入配置文件。systemctl daemon-reload 只重新加载服务配置,不会修改已有进程的资源限制。在线重启 envd 可能中断命令连接和任务,应采用新模板、新沙箱完成切换。

    重建模板并切换任务

    1. 在现有基础镜像 Dockerfile 中加入 drop-in 配置。
    2. 构建镜像并推送到沙箱构建服务可访问的镜像仓库,使用新的唯一 tag 或固定 digest。
    3. 将模板的基础镜像引用更新为新镜像,重新构建沙箱模板。确认构建成功,并记录模板 ID、构建 ID 和基础镜像版本。
    4. 用新模板创建验证沙箱,完成下一节的检查后,再让任务使用验证过的模板版本。
    5. 保留旧模板供回滚,待实际工作负载验证通过后再按保留策略清理。

    发布基础镜像的命令示例如下。BASE_DOCKERFILE 填写实际 Dockerfile 路径,IMAGE_REF 填写包含新唯一 tag 的完整镜像地址;在基础镜像构建上下文目录执行:

    : "${BASE_DOCKERFILE:?请设置基础镜像 Dockerfile 路径}"
    : "${IMAGE_REF:?请设置带新唯一 tag 的完整镜像地址}"
    docker build -f "$BASE_DOCKERFILE" -t "$IMAGE_REF" .
    docker push "$IMAGE_REF"
    

    如镜像仓库之间存在同步过程,先确认构建服务使用的仓库已能拉取该版本。模板构建流程见构建模板。

    如果同一基础镜像有生产和参考等多个构建入口,应在实际会被发布的每个入口中保留这份 drop-in,并在最终镜像中检查文件内容。只修改本地构建脚本或某一次构建命令,不足以证明发布模板已经包含配置。

    任务通过固定模板 ID 引用模板时,核对新构建是否需要更新引用;通过名称或标签引用时,核对该引用实际解析到的默认构建。新配置只会作用于使用新构建创建的实例,已有实例及旧实例的暂停恢复状态保持原样。

    验证配置、进程和实际任务

    下面的命令在新模板创建的 Linux 沙箱中执行。读取 envd 进程信息时使用 root 或具备相应读取权限的用户。

    1. 检查 systemd 的有效配置

    systemctl cat envd.service
    systemctl show envd.service -p LimitNOFILE -p LimitNOFILESoft
    

    确认输出包含 drop-in 和期望值。部分旧版 systemd 不单独显示 LimitNOFILESoft,以实际进程的 /proc 数据为准。

    2. 检查运行中的 envd

    envd_pid="$(systemctl show envd.service -p MainPID | cut -d= -f2)"
    test "$envd_pid" -gt 0
    awk '/Max open files/ {print}' "/proc/${envd_pid}/limits"
    

    采用 65536:65536 配置时,预期输出为:

    Max open files            65536                65536                files
    

    服务配置显示 65536,但进程仍是 4096,通常意味着进程尚未按新配置启动,或启动脚本再次降低了限制。

    3. 通过实际任务入口检查子进程

    使用与实际任务相同的 SDK 命令接口、运行用户和启动方式执行:

    bash -c 'printf "soft=%s hard=%s\n" "$(ulimit -Sn)" "$(ulimit -Hn)"; awk "/Max open files/ {print}" /proc/$$/limits'
    

    预期得到 soft=65536 hard=65536。随后启动实际应用,检查其 /proc/<PID>/limits,并运行一次具有代表性的并发任务。验收应同时满足:

    • envd 和目标应用的实际进程限制达到预期。
    • 任务入口不再因硬限制不足而降级。
    • 代表性负载下没有文件描述符耗尽,fd 用量与内存用量处于预期范围。

    4. 按现象定位未生效的环节

    观察结果 优先检查
    systemctl cat envd.service 看不到 drop-in 新基础镜像是否真的用于模板构建,drop-in 路径和文件权限是否正确
    unit 显示 65536,envd 的 /proc/<PID>/limits 仍是 4096 envd 是否在新配置加载后重新启动,是否从旧模板或旧快照恢复
    envd 已是 65536,任务进程仍较低 启动脚本是否再次调用 ulimit,或应用是否由另一个 systemd 服务、容器或沙箱层独立启动
    shell 检查是 65536,高并发仍出现 EMFILE 检查实际应用 PID 的限制和 fd 峰值,并评估连接泄漏、并发度和内存预算

    每次验证都应记录模板版本、基础镜像 tag 或 digest、沙箱 ID 和检查时间,避免把旧实例的结果误当成新模板的结果。已有沙箱和暂停后恢复的旧快照不会自动获得新限制。

    常见调整方式的作用范围

    调整方式 作用范围与适用条件
    在一次命令中执行 ulimit 影响当前 Shell 及其后续子进程;独立的下一次命令调用通常不会继承这次修改
    Dockerfile 中执行 RUN ulimit ... 修改构建进程的限制,限制值不会作为文件内容保存到镜像
    修改 /etc/security/limits.conf 通常由 PAM 会话加载;systemd 启动的 envd 和直接派生的命令不能据此保证生效
    为 envd.service 设置 LimitNOFILE 在服务启动时设置限制,适合统一配置通过 envd 启动的任务
    设置 DefaultLimitNOFILE 改变 systemd 管理器的服务默认值,影响面较大,需评估其他服务
    修改 fs.inotify.max_user_watches 控制 inotify 监视项数量,与进程 nofile 是不同的限制
    修改 fs.file-max 调整系统范围的文件句柄限制,不能代替进程的 RLIMIT_NOFILE

    如果沙箱创建 API 或 SDK 的请求契约没有 rlimit 字段,调用方无法通过模板 ID、标签或一次命令中的 ulimit 改变 guest 的 hard limit;应在基础镜像、模板运行时或服务 unit 层处理。检查 API 是否支持该能力时,以当前契约和实际新建沙箱中的 /proc 结果为准。

    若服务无法应用目标值,检查服务日志、有效 drop-in 和 fs.nr_open,确认目标值处于内核允许范围。若 envd 已达到目标值而应用仍较低,沿父子进程链检查启动脚本、独立服务或嵌套容器的限制配置。

    提高上限提供了更大的容量空间;如果实际 fd 数量持续增长,还应检查文件、连接和管道是否及时关闭。

    如果平台暂时不能修改 guest 的 envd.service,可以保留 CI 中把软限制降到当前 hard limit 的兼容逻辑,或把目标值改为可配置的 4096。这只能接受较低容量或消除告警,不能提高实际限制;不要把它当作平台修复的验收结果。

    以上内容是否对您有帮助?