0

0

rm -rf 删除百万级小文件卡住的几种加速方案(ionice + nice)

冷炫風刃

冷炫風刃

发布时间:2026-01-21 08:34:45

|

240人浏览过

|

来源于php中文网

原创

本质是i/o和元数据操作瓶颈,应优先用ionice -c3降级i/o类别,配合find -delete或find|xargs分批删除,并启用relatime减少atime更新,nice仅在cpu成为次要瓶颈时辅助使用。

rm -rf 删除百万级小文件卡住的几种加速方案(ionice + nice)

rm -rf 删除百万级小文件时卡住,本质是 I/O 和元数据操作瓶颈,不是 CPU 不够。单纯加 nice(调低 CPU 优先级)几乎没用,真正关键的是控制磁盘 I/O 争抢——ionice 才是核心,配合合理策略才能提速。

优先用 ionice 降级 I/O 类别,避免阻塞系统响应

ionice 控制进程对磁盘的“抢夺强度”,比 nice 管 CPU 更对症。删除大量小文件时,每删一个都要更新 inode、目录项、块位图等,I/O 请求密集且随机,极易拖慢其他服务(如数据库、日志写入)。

  • 推荐用 ionice -c3(Idle 类),表示“只在磁盘空闲时才做 I/O”,最温和,不影响前台业务
  • 若需稍快一点且能接受轻微干扰,可用 ionice -c2 -n7(Best-effort 类,最低优先级),比默认(-n4)更低
  • 绝对避免 -c1(Real-time),会饿死其他进程,风险极高

配合 find + xargs 分批删除,减少单次系统调用开销

rm -rf 递归扫描整个目录树时,要反复 stat、readdir,路径深、文件多时内核开销大。改用 find 按批次交给 xargs 处理,可显著降低路径解析和内存压力。

Okaaaay
Okaaaay

适用于所有人的AI文本和内容生成器

下载
  • 安全高效写法:
    find /path/to/dir -mindepth 1 -delete(支持 GNU find,原子删除,最快)
  • 兼容旧系统(如 macOS):
    find /path/to/dir -mindepth 1 -print0 | xargs -0 -P1 -n 1000 rm
    其中 -P1 避免多线程加剧 I/O 冲突,-n 1000 控制每批数量,平衡效率与内存

禁用 atime 更新,跳过不必要的元数据写入

每次访问文件(包括 rm 的 stat 操作)默认会更新 atime 字段,产生额外磁盘写入。对纯删除场景毫无意义,却加重 I/O 负担。

  • 临时生效(当前挂载点):
    mount -o remount,relatime /mount/point(比 noatime 更兼容,推荐)
  • 永久生效:编辑 /etc/fstab,在对应分区选项中加入 relatimenoatime
  • 注意:修改后需重新挂载或重启才生效;若不确定影响,先在测试环境验证

慎用 nice,仅在 CPU 成为次要瓶颈时微调

删除小文件时 CPU 占用通常很低,nice 几乎不改善速度,反而可能让进程调度更不及时。只有当同时运行高 CPU 任务(如压缩、编译)导致调度延迟时,才考虑辅助降级:

  • 搭配 ionice 使用:
    ionice -c3 nice -n19 find /path -delete
  • nice -n19 是最低 CPU 优先级,但不要单独用它来“加速”删除
  • 监控确认:用 iostat -x 1 看 %util 和 await,若 %util 接近 100% 且 await 高,说明是 I/O 瓶颈,此时 ionice 有效;若 %util 很低但 CPU 占满,再看 nice

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

763

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

376

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

27

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

28

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

103

2026.02.06

数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

287

2023.11.13

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

222

2023.12.29

macOS怎么切换用户账户
macOS怎么切换用户账户

在 macOS 系统中,可通过多种方式切换用户账户。如点击苹果图标选择 “系统偏好设置”,打开 “用户与群组” 进行切换;或启用快速用户切换功能,通过菜单栏或控制中心的账户名称切换;还能使用快捷键 “Control+Command+Q” 锁定屏幕后切换。

358

2025.05.09

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

23

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
HTML5/CSS3/JavaScript/ES6入门课程
HTML5/CSS3/JavaScript/ES6入门课程

共102课时 | 7.3万人学习

前端基础到实战(HTML5+CSS3+ES6+NPM)
前端基础到实战(HTML5+CSS3+ES6+NPM)

共162课时 | 21.3万人学习

第二十二期_前端开发
第二十二期_前端开发

共119课时 | 13.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号