0

0

PHP创建文件如何分块写入_处理超大文件的分段写入【操作】

星夢妙者

星夢妙者

发布时间:2026-02-21 15:11:03

|

401人浏览过

|

来源于php中文网

原创

php写入超大文件需分块写入而非一次性fwrite,否则内存溢出被系统kill;每次写1–8mb并fflush()确保os缓冲区刷新,避免依赖fclose(),错误时用ftell()定位断点。

php创建文件如何分块写入_处理超大文件的分段写入【操作】

PHP写入超大文件为什么不能直接 fwrite()

内存会爆。哪怕你用 fopen(..., 'w') 打开,fwrite() 一次性塞几百MB数据进去,PHP进程很可能被系统 kill——尤其是 CLI 模式下 memory_limit 未调高时。真实场景里,导出千万行 CSV、拼接 TB 级日志、生成备份镜像,都得靠分块写入。

核心原则就一条:每次只往文件句柄里写一个合理大小的数据块(比如 1–8 MB),写完立即 fflush(),不累积到内存。

  • 块大小不是越大越好:8 MB 是多数 Linux 文件系统单次 write 的友好上限,再大可能触发内核缓冲区等待
  • 别依赖 fclose() 自动刷盘:它只保证句柄关闭,不保证磁盘落盘;fflush() 才强制把 PHP 缓冲区内容推给 OS
  • 如果目标是追加写(如日志),务必用 'a''ab' 模式打开,否则 fseek() 错位或覆盖已有内容

fwrite() 分块写入的最小可靠写法

以下代码能扛住 GB 级写入,且不崩内存:

$fp = fopen('/path/to/bigfile.dat', 'wb');
if (!$fp) {
    throw new RuntimeException('Cannot open file for writing');
}
<p>$data_source = /<em> 你的数据生成器,例如 PDOStatement::fetch() 或 yield from file() </em>/;
$chunk_size = 4 <em> 1024 </em> 1024; // 4MB</p><p>while ($chunk = get_next_chunk($data_source, $chunk_size)) {
$written = fwrite($fp, $chunk);
if ($written === false || $written !== strlen($chunk)) {
throw new RuntimeException('Write failed or partial write');
}
fflush($fp); // 关键:立刻刷到 OS 缓冲区
}</p><p>fclose($fp);
  • get_next_chunk() 必须按需拉取,不能提前把全部数据 load 到数组里
  • 二进制模式 'wb' 避免 Windows 下 \n 被误转成 \r\n
  • strlen($chunk)$written 必须严格比对——部分写入在 NFS 或满磁盘时真会发生

遇到 fwrite(): Write of X bytes failed 怎么办

这个错误不是 PHP bug,而是底层 write(2) 系统调用返回失败,常见于:

立即学习PHP免费学习笔记(深入)”;

Dang.ai
Dang.ai

Dang.ai是一个AI工具目录集,已收集超过5000+ AI工具

下载
  • 磁盘空间不足(df -h 看一下)
  • 用户配额超限(quota -u $USER
  • 文件系统只读(mount | grep $(df . | tail -1 | awk '{print $1}')
  • NFS 服务端中断或网络抖动(此时 fwrite() 可能卡住几秒后报错)

应对策略不是重试,而是立刻检查 error_get_last() 并记录上下文:

$result = fwrite($fp, $chunk);
if ($result === false) {
    $err = error_get_last();
    error_log(sprintf('fwrite failed at offset %d: %s', ftell($fp), $err['message']));
    throw new RuntimeException('Disk I/O error');
}

注意:ftell($fp) 在失败时仍有效,能帮你定位断点位置,方便后续续传。

想边写边压缩?别用 gzencode() 全量处理

对超大文件实时压缩,必须用流式方式,否则内存爆炸。PHP 原生支持 zlib:// 封装协议:

$fp = fopen('compress.zlib://'.realpath('/path/to/out.gz'), 'wb');
// 后续 fwrite() 写入的就是自动压缩后的内容
fwrite($fp, $chunk);
fflush($fp);
  • 路径必须用 realpath(),因为 compress.zlib:// 不支持相对路径
  • 该方式等价于用 gzopen() + gzwrite(),但更简洁;压缩级别默认为 Z_DEFAULT_COMPRESSION
  • 不要混用:不能对已打开的普通 fopen() 句柄再套 zlib,必须从打开阶段就指定协议

分块写入本身不关心内容是否压缩,关键在于“每次只喂一小口”,让 PHP 和 OS 都能喘气。真正容易被忽略的是:flush 时机、错误后的位置追踪、以及压缩协议对路径的苛刻要求。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

192

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

13

2026.02.03

fclose函数的用法
fclose函数的用法

fclose是一个C语言和C++中的标准库函数,用于关闭一个已经打开的文件,是文件操作中非常重要的一个函数,用于将文件流与底层文件系统分离,释放相关的资源。更多关于fclose函数的相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

341

2023.11.30

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1207

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1151

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

823

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

460

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2361

2023.08.08

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

796

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 12.2万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号