如何配置沙箱文件描述符上限:nofile
如何配置沙箱文件描述符上限:nofile
在沙箱中运行 CI、数据库或并发网络任务时,应用可能希望将文件描述符上限提高到 65536,却发现当前进程的硬限制只有 4096。本文介绍如何确认限制来源,通过自定义基础镜像持久化配置,并在新模板创建的沙箱中验证实际效果。
本文适用于以 systemd 管理 envd.service 的 Linux 沙箱。envd 是沙箱内负责接收命令、启动进程等操作的运行时服务。以下以 65536 为配置示例,实际取值应结合应用要求、并发规模和内存预算确定。
识别现象与影响
任务日志可能出现以下告警:
Warning: runner hard nofile is 4096; using it instead of requested 65536
这类告警通常由任务脚本主动输出:脚本请求 65536,检测到当前硬限制为 4096,于是把软限制设置为 4096 后继续执行。它表示实际配置低于预期,并不等于文件描述符已经耗尽,也不一定导致任务失败。任务能够继续执行,也不能证明限制已经满足应用要求。
通过与实际任务相同的命令执行入口,在沙箱内的 Bash 中检查:
printf 'soft=%s hard=%s\n' "$(ulimit -Sn)" "$(ulimit -Hn)"
awk '/Max open files/ {print}' /proc/$$/limits
受影响环境的输出可能为:
soft=4096 hard=4096
Max open files 4096 4096 files
还需要结合应用日志判断是否真的触及限制。EMFILE 通常表示单个进程的文件描述符耗尽;ENFILE 通常表示系统范围的文件表资源不足,需要另行检查系统资源。
对于正在运行的应用,可以检查其限制和当前用量。将下面的 PID 换成实际进程 ID,并使用有权读取该进程信息的用户执行:
APP_PID=1234
awk '/Max open files/ {print}' "/proc/${APP_PID}/limits"
find "/proc/${APP_PID}/fd" -mindepth 1 -maxdepth 1 -type l | wc -l
单次采样只反映当时的用量。判断容量是否足够,应覆盖启动阶段和并发峰值,并观察是否存在持续增长的文件描述符泄漏。
先确认限制在哪一层
在使用平台生成的沙箱模板时,可以把当前实现的启动链路理解为:
guest systemd PID 1
└─ envd.service
└─ /usr/bin/envd
└─ 通过沙箱命令接口启动的进程
└─ CI 执行器、数据库或其他子进程
当前 Sandbox 模板生成的 envd.service 显式设置了 LimitCORE,没有设置 LimitNOFILE;envd 启动用户命令时也不会替子进程重新设置 RLIMIT_NOFILE。因此,envd.service 启动时得到的限制会沿父子进程链继承。模板生成逻辑位于 packages/orchestrator/internal/template/build/core/rootfs/files/envd.service.tpl,基础阶段设置的 fs.inotify.max_user_watches 与 nofile 是两个独立限制。
不要只检查 PID 1:systemd 管理器自己的 Max open files 数值较高,也不能证明 envd.service 或实际任务进程使用了同样的限制。应同时检查 unit 的有效配置、envd 进程和实际任务入口。
理解限制的继承关系
nofile 对应 Linux 的进程资源限制 RLIMIT_NOFILE。文件、网络 socket、管道等都会占用文件描述符。
| 概念 | 含义 |
|---|---|
| soft limit(软限制) | 当前实际生效的限制,使用 ulimit -Sn 查看 |
| hard limit(硬限制) | 非特权进程能够把软限制提高到的上限,使用 ulimit -Hn 查看 |
LimitNOFILE=soft:hard |
systemd 为某个服务启动进程时设置的软、硬限制 |
子进程通常继承父进程的资源限制,程序或启动脚本也可能在启动过程中重新设置它们。通过沙箱命令接口启动任务时,典型链路为:
systemd
└─ envd.service
└─ 命令启动进程
└─ CI 执行器或应用
└─ Shell、数据库等子进程
如果 envd.service 的有效硬限制为 4096,后续普通用户进程仅执行 ulimit -Sn 65536 无法突破这个硬限制。提高硬限制需要相应权限,并应放在正确的进程启动边界上。
服务没有显式配置 LimitNOFILE 时,会受到 systemd 默认配置和启动环境的影响。不同基础镜像及 systemd 版本的默认值可能不同,4096 不是所有沙箱的固定上限。PID 1 自身的限制也不能代替 envd 或应用进程的实际限制。
在较老的 systemd 版本(例如 Ubuntu 16.04 使用的 v229)中,PID 1 可能在启动后显示较高的 Max open files,但服务默认值仍保留启动阶段的较低限制。因此即使 /proc/1/limits 显示 65536,没有显式 LimitNOFILE 的 envd.service 仍可能得到 4096:4096。
在基础镜像中持久化配置
推荐在构建自定义基础镜像时,为 envd.service 添加独立的 systemd drop-in 文件。沙箱构建器会在模板 rootfs 中写入主服务文件;drop-in 位于独立目录,不会因为主服务文件重新生成而丢失,systemd 首次启动 envd 时即可读取该配置。
在现有基础镜像 Dockerfile 中增加:
RUN install -d -m 0755 /etc/systemd/system/envd.service.d \
&& printf '%s\n' \
'[Service]' \
'LimitNOFILE=65536:65536' \
> /etc/systemd/system/envd.service.d/90-nofile.conf \
&& chmod 0644 /etc/systemd/system/envd.service.d/90-nofile.conf
最终生成的文件内容为:
[Service]
LimitNOFILE=65536:65536
drop-in 只设置所需属性,保留平台提供的主服务定义及其启动参数。此配置作用于 envd 及继承其限制的子进程;如果应用由另一个 systemd 服务独立启动,需要检查并配置那个服务。
上述配置同时提高软、硬限制,适用于已经确认支持该上限的应用。使用传统 select() 接口的程序通常无法处理编号达到或超过 1024 的文件描述符,旧应用应先检查兼容性。需要保留较低默认软限制时,可以采用 LimitNOFILE=1024:65536,再由兼容的应用在自身启动链路中提高软限制。
为什么放在基础镜像中
沙箱模板可能包含运行中进程的快照。在 envd 已启动后,通过模板命令写入 drop-in,文件虽然已保存,已有 envd 进程仍可能保持旧限制。恢复这份快照也会保留进程状态。
把配置放入基础镜像,可以让它在 envd 首次启动前就存在,减少构建过程中重启服务的需要。应通过真正的 Docker 镜像构建生成该文件,再以这个新镜像构建沙箱模板;仅将 Dockerfile 解析为模板中的运行命令,配置执行时机可能不同。
Docker 构建阶段只需写入配置文件。systemctl daemon-reload 只重新加载服务配置,不会修改已有进程的资源限制。在线重启 envd 可能中断命令连接和任务,应采用新模板、新沙箱完成切换。
重建模板并切换任务
- 在现有基础镜像 Dockerfile 中加入 drop-in 配置。
- 构建镜像并推送到沙箱构建服务可访问的镜像仓库,使用新的唯一 tag 或固定 digest。
- 将模板的基础镜像引用更新为新镜像,重新构建沙箱模板。确认构建成功,并记录模板 ID、构建 ID 和基础镜像版本。
- 用新模板创建验证沙箱,完成下一节的检查后,再让任务使用验证过的模板版本。
- 保留旧模板供回滚,待实际工作负载验证通过后再按保留策略清理。
发布基础镜像的命令示例如下。BASE_DOCKERFILE 填写实际 Dockerfile 路径,IMAGE_REF 填写包含新唯一 tag 的完整镜像地址;在基础镜像构建上下文目录执行:
: "${BASE_DOCKERFILE:?请设置基础镜像 Dockerfile 路径}"
: "${IMAGE_REF:?请设置带新唯一 tag 的完整镜像地址}"
docker build -f "$BASE_DOCKERFILE" -t "$IMAGE_REF" .
docker push "$IMAGE_REF"
如镜像仓库之间存在同步过程,先确认构建服务使用的仓库已能拉取该版本。模板构建流程见构建模板。
如果同一基础镜像有生产和参考等多个构建入口,应在实际会被发布的每个入口中保留这份 drop-in,并在最终镜像中检查文件内容。只修改本地构建脚本或某一次构建命令,不足以证明发布模板已经包含配置。
任务通过固定模板 ID 引用模板时,核对新构建是否需要更新引用;通过名称或标签引用时,核对该引用实际解析到的默认构建。新配置只会作用于使用新构建创建的实例,已有实例及旧实例的暂停恢复状态保持原样。
验证配置、进程和实际任务
下面的命令在新模板创建的 Linux 沙箱中执行。读取 envd 进程信息时使用 root 或具备相应读取权限的用户。
1. 检查 systemd 的有效配置
systemctl cat envd.service
systemctl show envd.service -p LimitNOFILE -p LimitNOFILESoft
确认输出包含 drop-in 和期望值。部分旧版 systemd 不单独显示 LimitNOFILESoft,以实际进程的 /proc 数据为准。
2. 检查运行中的 envd
envd_pid="$(systemctl show envd.service -p MainPID | cut -d= -f2)"
test "$envd_pid" -gt 0
awk '/Max open files/ {print}' "/proc/${envd_pid}/limits"
采用 65536:65536 配置时,预期输出为:
Max open files 65536 65536 files
服务配置显示 65536,但进程仍是 4096,通常意味着进程尚未按新配置启动,或启动脚本再次降低了限制。
3. 通过实际任务入口检查子进程
使用与实际任务相同的 SDK 命令接口、运行用户和启动方式执行:
bash -c 'printf "soft=%s hard=%s\n" "$(ulimit -Sn)" "$(ulimit -Hn)"; awk "/Max open files/ {print}" /proc/$$/limits'
预期得到 soft=65536 hard=65536。随后启动实际应用,检查其 /proc/<PID>/limits,并运行一次具有代表性的并发任务。验收应同时满足:
- envd 和目标应用的实际进程限制达到预期。
- 任务入口不再因硬限制不足而降级。
- 代表性负载下没有文件描述符耗尽,fd 用量与内存用量处于预期范围。
4. 按现象定位未生效的环节
| 观察结果 | 优先检查 |
|---|---|
systemctl cat envd.service 看不到 drop-in |
新基础镜像是否真的用于模板构建,drop-in 路径和文件权限是否正确 |
unit 显示 65536,envd 的 /proc/<PID>/limits 仍是 4096 |
envd 是否在新配置加载后重新启动,是否从旧模板或旧快照恢复 |
envd 已是 65536,任务进程仍较低 |
启动脚本是否再次调用 ulimit,或应用是否由另一个 systemd 服务、容器或沙箱层独立启动 |
shell 检查是 65536,高并发仍出现 EMFILE |
检查实际应用 PID 的限制和 fd 峰值,并评估连接泄漏、并发度和内存预算 |
每次验证都应记录模板版本、基础镜像 tag 或 digest、沙箱 ID 和检查时间,避免把旧实例的结果误当成新模板的结果。已有沙箱和暂停后恢复的旧快照不会自动获得新限制。
常见调整方式的作用范围
| 调整方式 | 作用范围与适用条件 |
|---|---|
在一次命令中执行 ulimit |
影响当前 Shell 及其后续子进程;独立的下一次命令调用通常不会继承这次修改 |
Dockerfile 中执行 RUN ulimit ... |
修改构建进程的限制,限制值不会作为文件内容保存到镜像 |
修改 /etc/security/limits.conf |
通常由 PAM 会话加载;systemd 启动的 envd 和直接派生的命令不能据此保证生效 |
为 envd.service 设置 LimitNOFILE |
在服务启动时设置限制,适合统一配置通过 envd 启动的任务 |
设置 DefaultLimitNOFILE |
改变 systemd 管理器的服务默认值,影响面较大,需评估其他服务 |
修改 fs.inotify.max_user_watches |
控制 inotify 监视项数量,与进程 nofile 是不同的限制 |
修改 fs.file-max |
调整系统范围的文件句柄限制,不能代替进程的 RLIMIT_NOFILE |
如果沙箱创建 API 或 SDK 的请求契约没有 rlimit 字段,调用方无法通过模板 ID、标签或一次命令中的 ulimit 改变 guest 的 hard limit;应在基础镜像、模板运行时或服务 unit 层处理。检查 API 是否支持该能力时,以当前契约和实际新建沙箱中的 /proc 结果为准。
若服务无法应用目标值,检查服务日志、有效 drop-in 和 fs.nr_open,确认目标值处于内核允许范围。若 envd 已达到目标值而应用仍较低,沿父子进程链检查启动脚本、独立服务或嵌套容器的限制配置。
提高上限提供了更大的容量空间;如果实际 fd 数量持续增长,还应检查文件、连接和管道是否及时关闭。
如果平台暂时不能修改 guest 的 envd.service,可以保留 CI 中把软限制降到当前 hard limit 的兼容逻辑,或把目标值改为可配置的 4096。这只能接受较低容量或消除告警,不能提高实际限制;不要把它当作平台修复的验收结果。