php写入超大文件需分块写入而非一次性fwrite,否则内存溢出被系统kill;每次写1–8mb并fflush()确保os缓冲区刷新,避免依赖fclose(),错误时用ftell()定位断点。

PHP写入超大文件为什么不能直接 fwrite()
内存会爆。哪怕你用 fopen(..., 'w') 打开,fwrite() 一次性塞几百MB数据进去,PHP进程很可能被系统 kill——尤其是 CLI 模式下 memory_limit 未调高时。真实场景里,导出千万行 CSV、拼接 TB 级日志、生成备份镜像,都得靠分块写入。
核心原则就一条:每次只往文件句柄里写一个合理大小的数据块(比如 1–8 MB),写完立即 fflush(),不累积到内存。
- 块大小不是越大越好:8 MB 是多数 Linux 文件系统单次 write 的友好上限,再大可能触发内核缓冲区等待
- 别依赖
fclose()自动刷盘:它只保证句柄关闭,不保证磁盘落盘;fflush()才强制把 PHP 缓冲区内容推给 OS - 如果目标是追加写(如日志),务必用
'a'或'ab'模式打开,否则fseek()错位或覆盖已有内容
用 fwrite() 分块写入的最小可靠写法
以下代码能扛住 GB 级写入,且不崩内存:
$fp = fopen('/path/to/bigfile.dat', 'wb');
if (!$fp) {
throw new RuntimeException('Cannot open file for writing');
}
<p>$data_source = /<em> 你的数据生成器,例如 PDOStatement::fetch() 或 yield from file() </em>/;
$chunk_size = 4 <em> 1024 </em> 1024; // 4MB</p><p>while ($chunk = get_next_chunk($data_source, $chunk_size)) {
$written = fwrite($fp, $chunk);
if ($written === false || $written !== strlen($chunk)) {
throw new RuntimeException('Write failed or partial write');
}
fflush($fp); // 关键:立刻刷到 OS 缓冲区
}</p><p>fclose($fp);
-
get_next_chunk()必须按需拉取,不能提前把全部数据 load 到数组里 - 二进制模式
'wb'避免 Windows 下\n被误转成\r\n -
strlen($chunk)和$written必须严格比对——部分写入在 NFS 或满磁盘时真会发生
遇到 fwrite(): Write of X bytes failed 怎么办
这个错误不是 PHP bug,而是底层 write(2) 系统调用返回失败,常见于:
立即学习“PHP免费学习笔记(深入)”;
- 磁盘空间不足(
df -h看一下) - 用户配额超限(
quota -u $USER) - 文件系统只读(
mount | grep $(df . | tail -1 | awk '{print $1}')) - NFS 服务端中断或网络抖动(此时
fwrite()可能卡住几秒后报错)
应对策略不是重试,而是立刻检查 error_get_last() 并记录上下文:
$result = fwrite($fp, $chunk);
if ($result === false) {
$err = error_get_last();
error_log(sprintf('fwrite failed at offset %d: %s', ftell($fp), $err['message']));
throw new RuntimeException('Disk I/O error');
}
注意:ftell($fp) 在失败时仍有效,能帮你定位断点位置,方便后续续传。
想边写边压缩?别用 gzencode() 全量处理
对超大文件实时压缩,必须用流式方式,否则内存爆炸。PHP 原生支持 zlib:// 封装协议:
$fp = fopen('compress.zlib://'.realpath('/path/to/out.gz'), 'wb');
// 后续 fwrite() 写入的就是自动压缩后的内容
fwrite($fp, $chunk);
fflush($fp);
- 路径必须用
realpath(),因为compress.zlib://不支持相对路径 - 该方式等价于用
gzopen()+gzwrite(),但更简洁;压缩级别默认为 Z_DEFAULT_COMPRESSION - 不要混用:不能对已打开的普通
fopen()句柄再套 zlib,必须从打开阶段就指定协议
分块写入本身不关心内容是否压缩,关键在于“每次只喂一小口”,让 PHP 和 OS 都能喘气。真正容易被忽略的是:flush 时机、错误后的位置追踪、以及压缩协议对路径的苛刻要求。











