0

0

PHP如何分块修改超大文件_PHP分块改超大文件法【分块】

看不見的法師

看不見的法師

发布时间:2026-02-09 09:12:02

|

931人浏览过

|

来源于php中文网

原创

安全分块修改超大文件必须采用“分块读→修改→写新文件→原子替换”策略,而非直接fopen('r+')覆盖;因fseek/fwrite在大文件上易失败、不可靠且无回滚,而rename可保证Linux/macOS下原子性。

php如何分块修改超大文件_php分块改超大文件法【分块】

直接改超大文件(比如几个 GB 的日志或数据文件)时,fopen($file, 'r+') 配合 fseek() 看似可行,但极易出错——不是写错位置,就是截断丢数据,更别说并发修改时的竞态问题。真要安全分块修改,核心不是“怎么写”,而是“怎么避开全量加载+原子替换”。

为什么不能用 fwrite() 直接覆盖某段?

因为 PHP 的文件指针操作在超大文件上极其脆弱:

  • fseek() 到 2GB 后的位置,在 32 位系统或某些 Windows 环境下会 silently 失败(返回 -1 但不报错)
  • fwrite() 写入长度 ≠ 期望长度是常态,尤其在 NFS 或容器卷上,必须循环检查 return !== strlen($data)
  • 写入中途崩溃,原文件已损坏,无回滚机制
  • 无法保证“只改第 3 块、其余不动”——哪怕只改 1 字节,也要确保前后块边界字节完全不变

推荐做法:分块读 → 修改 → 写新文件 → 原子替换

这不是“绕路”,而是唯一能兼顾正确性与可维护的方式。关键在控制块大小和边界处理:

  • 块大小设为 4096(页大小)或其整数倍,减少 I/O 次数;避免用 1024*1024 这类“看起来整”的数,容易卡在 UTF-8 多字节字符中间
  • fread($fp, $chunk_size) 逐块读,**绝不**用 file_get_contents() 加载全量
  • 修改逻辑放在内存里(如正则替换、字段重写),处理完立即 fwrite($new_fp, $modified_chunk)
  • 最后用 rename($temp_file, $original_file) 原子替换——这是 Linux/macOS 下真正安全的一步

示例关键片段:

SuperCms在线订餐系统
SuperCms在线订餐系统

模板采用响应式设计,自动适应手机,电脑及平板显示;满足单一店铺外卖需求。功能:1.菜单分类管理2.菜品管理:菜品增加,删除,修改3.订单管理4.友情链接管理5.数据库备份6.文章模块:如:促销活动,帮助中心7.单页模块:如:企业信息,关于我们更强大的功能在开发中……安装方法:上传到网站根目录,运行http://www.***.com/install 自动

下载

立即学习PHP免费学习笔记(深入)”;

$fp = fopen($original, 'rb');
$new_fp = fopen($temp, 'wb');
$pos = 0;
while (!feof($fp)) {
    $chunk = fread($fp, 8192);
    if ($pos >= $start_offset && $pos < $end_offset) {
        $chunk = str_replace('old', 'new', $chunk); // 实际逻辑
    }
    fwrite($new_fp, $chunk);
    $pos += strlen($chunk);
}
fclose($fp);
fclose($new_fp);
rename($temp, $original); // 成功则覆盖,失败则原文件完好

遇到换行/JSON/CSV 边界怎么办?

硬按字节分块会撕裂结构化数据。必须让块边界对齐语义单元:

  • 日志类文本:用 stream_get_line($fp, 8192, "\n") 替代 fread(),确保每块以完整行为单位
  • JSON 文件:先用 json_decode(file_get_contents($file), true, 512, JSON_BIGINT_AS_STRING) 判断是否可全量解析;若不行,改用 jsonl(每行一个 JSON)格式,再按行分块
  • CSV:用 fgetcsv() 逐行读,累计到约 1000 行写一次新块,避免单行跨块
  • 二进制格式(如 Protocol Buffers):必须依赖 schema 定义的 record 边界,不能靠字节偏移猜

真正难的从来不是“怎么分”,而是确认你的“块”在业务意义上是否可独立修改。比如改数据库 dump 文件里的某条 INSERT,得先确保它没被拆到两个块里——这需要预扫描或格式约束,不是单纯调个 fseek() 能解决的。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

433

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

543

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

315

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

79

2025.09.10

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

976

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1140

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

816

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

457

2023.08.02

Golang处理数据库错误教程合集
Golang处理数据库错误教程合集

本专题整合了Golang数据库错误处理方法、技巧、管理策略相关内容,阅读专题下面的文章了解更多详细内容。

67

2026.02.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 11.3万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.2万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号