0

0

DockerDaemon多并发任务处理性能调优实践

冰川箭仙

冰川箭仙

发布时间:2026-03-18 08:24:55

|

351人浏览过

|

来源于php中文网

原创

根本原因是默认 max-concurrent-downloads 和 max-concurrent-uploads 过小(仅3),导致高并发拉镜像时请求排队等待下载锁,表现为“无报错但卡在 pulling”;需调大该值并监控 I/O。

dockerdaemon多并发任务处理性能调优实践

为什么 dockerd 在高并发拉取镜像时卡住?

根本原因不是 CPU 或内存打满,而是默认的 max-concurrent-downloadsmax-concurrent-uploads 太保守(默认 3)。当批量启动容器或 CI 流水线并发拉镜像时,大量请求排队等待下载锁,表现为「没报错但一直卡在 pulling」。

实操建议:

  • 修改 /etc/docker/daemon.json,增加:
    { "max-concurrent-downloads": 10, "max-concurrent-uploads": 10 }
  • 重启生效:sudo systemctl restart docker
  • 注意:值设太高可能压垮镜像仓库或本地磁盘 I/O,建议从 5 开始逐步调高,配合 iostat -x 1 观察 %util

dockerd 启动慢、响应延迟高的常见配置冲突

典型现象是执行 docker info 要等 3–5 秒,或者 docker ps 偶发超时。大概率是启用了某些低效后端或网络探测机制。

实操建议:

  • 禁用 IPv6 自动探测(除非真用 IPv6):"ipv6": false,避免 daemon 启动时阻塞等待 IPv6 路由就绪
  • 关闭 live-restore(如果没做容器热恢复需求):"live-restore": false,否则每次 dockerd 重启都会扫描全量容器状态
  • 检查 registry-mirrors 配置——若镜像源不可达或响应慢,dockerd 会在后台持续重试,拖慢所有 API 响应

并发构建时 docker build 抢占 buildkit 资源导致失败

启用 BuildKit 后,并发 docker build 默认共享同一套构建缓存和 worker 池。一旦某个大镜像构建占满内存或磁盘缓存,其他构建会因 failed to compute cache keycontext deadline exceeded 中断。

SongAI
SongAI

免费AI歌曲和音乐生成平台,支持文字生成歌曲、AI歌词创作、AI翻唱等功能

下载

实操建议:

  • 为不同构建任务分配独立缓存命名空间:DOCKER_BUILDKIT=1 docker build --cache-from type=local,src=/tmp/cache-a ...
  • 限制单个构建的资源上限(需 Docker 24.0+):--memory=2g --cpus=2,防止一个构建吃光宿主机资源
  • 避免在 CI 中无节制启用 DOCKER_BUILDKIT=1 ——老版本 BuildKit 对多阶段构建的并发支持不稳,反而比经典 builder 更容易死锁

容器启动延迟突增,其实是 containerd 的 shim 进程创建瓶颈

dockerd 本身不直接运行容器,它委托给 containerd;而 containerd 每启一个容器,就要 fork 一个 containerd-shim 进程。在低配机器或 SELinux 强制模式下,进程 fork + 安全上下文初始化可能成为瓶颈。

实操建议:

  • 确认 containerd 版本 ≥ 1.6 —— 1.5 及以前在高并发场景下 shim 创建有已知锁竞争问题
  • 若用 SELinux,避免频繁切换策略:临时关闭验证测试是否改善延迟:sudo setenforce 0(仅用于定位)
  • 监控 containerd-shim 进程数:ps aux | grep containerd-shim | wc -l,持续超过 200 且增长不收敛,说明存在容器未正常退出或 shim 泄漏

真正难调的点不在参数开关,而在各层之间资源视角错位:dockerd 看的是并发数,containerd 看的是 shim 进程负载,而内核看到的是 fork 数和 cgroup 压力。调参前务必先用 strace -p $(pgrep dockerd) 确认卡在哪一环。

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

458

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

549

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

337

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

84

2025.09.10

k8s和docker区别
k8s和docker区别

k8s和docker区别有抽象层次不同、管理范围不同、功能不同、应用程序生命周期管理不同、缩放能力不同、高可用性等等区别。本专题为大家提供k8s和docker区别相关的各种文章、以及下载和课程。

280

2023.07.24

docker进入容器的方法有哪些
docker进入容器的方法有哪些

docker进入容器的方法:1. Docker exec;2. Docker attach;3. Docker run --interactive --tty;4. Docker ps -a;5. 使用 Docker Compose。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

517

2024.04.08

docker容器无法访问外部网络怎么办
docker容器无法访问外部网络怎么办

docker 容器无法访问外部网络的原因和解决方法:配置 nat 端口映射以将容器端口映射到主机端口。根据主机兼容性选择正确的网络驱动(如 host 或 overlay)。允许容器端口通过主机的防火墙。配置容器的正确 dns 服务器。选择正确的容器网络模式。排除主机网络问题,如防火墙或连接问题。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

417

2024.04.08

docker镜像有什么用
docker镜像有什么用

docker 镜像是预构建的软件组件,用途广泛,包括:应用程序部署:简化部署,提高移植性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

454

2024.04.08

抖漫入口地址合集
抖漫入口地址合集

本专题整合了抖漫入口地址相关合集,阅读专题下面的文章了解更多详细地址。

17

2026.03.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号