0

0

PHP怎么分割大文件夹_PHP拆分大型文件夹技巧【指南】

蓮花仙者

蓮花仙者

发布时间:2026-02-21 19:43:48

|

710人浏览过

|

来源于php中文网

原创

scandir()遍历大目录易内存溢出,应改用opendir()+readdir()流式读取;拆分目录需按数量或大小分批移动文件,用rename()确保原子性,配合flock()加锁、progress.log断点续传,并预估磁盘双倍空间。

php怎么分割大文件夹_php拆分大型文件夹技巧【指南】

PHP 用 scandir() 遍历大文件夹容易内存溢出

直接 scandir() 一个含数万文件的目录,PHP 进程常因内存耗尽被 kill,错误类似 Fatal error: Allowed memory size of XXX bytes exhausted。这不是代码写错,而是它会一次性把所有文件名读进内存。

替代方案是用 opendir() + readdir() 流式读取:

while (false !== ($entry = readdir($dh))) {
    if (in_array($entry, ['.', '..'])) continue;
    // 处理单个文件/子目录
}

这样每次只存一个文件名,内存占用稳定在 KB 级别。注意:务必用 closedir($dh) 显式释放句柄,否则可能触发系统级打开文件数限制(Too many open files)。

按文件数量或大小批量拆分文件夹

“拆分”不是复制文件,而是把原目录下的内容按规则分组,生成多个子目录(如 part_001/part_002/),再把文件移动过去。关键在于控制每批处理量:

音刻
音刻

AI音视频转录和笔记工具

下载

立即学习PHP免费学习笔记(深入)”;

  • 按数量切分:每 500 个文件建一个新目录,适合文件体积较均匀的场景
  • 按累计大小切分:用 filesize() 累加,达到 100MB 就新建一批,适合混有大视频/小日志的目录
  • 避免用 glob()FilesystemIterator 做批量操作——它们内部仍会预加载元数据,对大目录同样危险

移动文件时注意 rename() 的原子性与权限

rename() 移动文件比 copy() + unlink() 更安全高效,但有两个硬约束:

  • 源和目标必须在同一文件系统(同分区),否则会退化为拷贝+删除,失败风险高
  • PHP 进程需同时对源目录有 r-x、对目标目录有 wx 权限;常见错误是目标目录缺失 x(执行位),导致 rename(): No such file or directory
  • 若涉及跨用户(如 www-data 移动 root 创建的文件),需提前用 chownchmod 调整所有权,不能依赖 PHP 自动处理

实际运行前必须加锁和断点续传逻辑

大目录拆分往往耗时几分钟甚至小时,进程意外中断会导致状态不一致(部分文件已移走,但记录未保存)。简单可靠的方案是:

  • flock() 对一个临时锁文件加写锁,防止并发执行
  • 每完成一批(如 500 个文件),把当前处理到的文件名写入 progress.log,下次启动先读该文件跳过已处理项
  • 禁用 set_time_limit(0) 不够——还需检查 max_execution_time 是否被 php-fpm 或 nginx 覆盖,CLI 模式下才真正生效

最易忽略的是磁盘空间预估:移动过程临时占用双倍空间(原位置+新位置),如果只剩 2GB 却要拆分 5GB 目录,脚本会在中途因 No space left on device 失败,且难以回滚。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

240

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

516

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

566

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

242

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

540

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3606

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

49

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

67

2026.01.13

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

928

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 12.2万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号