0

0

PHPJSON怎么处理大文件_php读写超大json文件的技巧【方法】

蓮花仙者

蓮花仙者

发布时间:2026-03-06 17:18:01

|

999人浏览过

|

来源于php中文网

原创

应采用流式解析而非全量加载:对ndjson用fgets()逐行处理,对单一大json对象用jsonstreamingparser库的sax模式回调处理,写入时用fopen+fwrite分块输出并临时文件保障原子性。

phpjson怎么处理大文件_php读写超大json文件的技巧【方法】

PHP读大JSON文件时内存爆掉怎么办

直接 json_decode(file_get_contents($path)) 会把整个文件一次性载入内存,100MB JSON轻松吃光512MB内存限制,报 Fatal error: Allowed memory size exhausted。这不是JSON格式问题,是加载方式错了。

核心思路:不全量加载,改用流式解析或分块处理。

  • 优先用 json_decode() 配合 stream_get_line()fgets() 做行级JSON(如NDJSON/JSONL格式)
  • 纯单个大JSON对象(比如一个超长数组)必须用 JsonStreamingParser 类库,它基于SAX模式逐节点解析,内存占用稳定在几MB内
  • 别自己写正则或字符串截取来“模拟解析”——JSON嵌套和转义会让这种方案在第3层就崩溃

用JsonStreamingParser解析超大JSON数组的实际写法

这个类库不依赖扩展,纯PHP实现,适合线上环境。关键不是“怎么装”,而是“怎么写回调逻辑”。

常见错误是把所有数据攒进一个数组再处理,结果又回到内存爆炸的老路。

立即学习PHP免费学习笔记(深入)”;

创伴
创伴

专为内容创作者打造的AI创作工具,覆盖选题灵感、脚本创作、素材生成到智能发布

下载
  • 安装:composer require sahilgupta/json-streaming-parser
  • 只在 onValue() 回调里做原子操作:比如单条插入数据库、写入日志文件、发到消息队列
  • 如果原始JSON是 {"data": [...]} 这种带外层结构的,需在 onKey() 中识别 "data" 键,之后才开启数组项捕获
  • 注意:它不支持重复键名覆盖,遇到同名字段会按顺序触发多次 onValue(),业务逻辑要能接受流式到达
use JsonStreamingParser\Parser;
use JsonStreamingParser\Stream\InputStream;
<p>$stream = new InputStream(fopen('big.json', 'r'));
$parser = new Parser($stream, new class() extends \JsonStreamingParser\Listener {
public function onValue($value) {
if (is_array($value) && isset($value['id'])) {
// 每次只处理一条,不累积
$this->processItem($value);
}
}
private function processItem($item) { /<em> 插入DB或写文件 </em>/ }
});

写超大JSON文件时避免磁盘占满或中断丢失

file_put_contents($path, json_encode($huge_array)) 会先在内存拼出完整字符串,再写磁盘——两头风险:内存炸、进程被kill导致文件写半截。

正确做法是边生成边写,尤其当数据来自数据库游标或API分页时。

  • fopen($path, 'w') + fwrite() 手动拼接,开头写 "[",每条记录后加 ",",最后补 "]"
  • 每写1000条调用一次 fflush(),防止缓冲区堆积和意外中断丢数据
  • 不要用 JSON_PRETTY_PRINT —— 格式化会让体积膨胀30%以上,且严重拖慢写入速度
  • 如果必须保证原子性(比如不能出现半截文件),先写到 $path . '.tmp',写完再 rename()

PHP版本和JSON扩展对大文件的影响

PHP 7.4+ 的 json_decode() 在处理大整数时默认转成浮点,可能丢精度;而 ext-json 编译时若没开 --enable-json,连基础函数都没有——这些不会报错,但数据会静默出错。

  • 检查是否启用:var_dump(function_exists('json_decode'));
  • 大数字安全解析必须加 JSON_BIGINT_AS_STRING 标志,否则 9223372036854775807 可能变成 9.2233720368548E+18
  • PHP 8.1+ 支持 JSON_THROW_ON_ERROR,比手动检查 json_last_error() 更可靠,推荐强制开启
  • 别信“升级PHP就能自动优化大JSON”——底层还是全量解析,该爆内存照样爆

实际最难的不是选哪个方案,是判断原始JSON结构到底适配哪种解析路径:是单对象、数组、流式NDJSON,还是混着来的。看不清结构就硬上 json_decode(),后面八成要重写。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
composer是什么插件
composer是什么插件

Composer是一个PHP的依赖管理工具,它可以帮助开发者在PHP项目中管理和安装依赖的库文件。Composer通过一个中央化的存储库来管理所有的依赖库文件,这个存储库包含了各种可用的依赖库的信息和版本信息。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

161

2023.12.25

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

453

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

331

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

require的用法
require的用法

require的用法有引入模块、导入类或方法、执行特定任务。想了解更多require的相关内容,可以阅读本专题下面的文章。

509

2023.11.27

fgets在c语言中的用法
fgets在c语言中的用法

本专题整合了c语言中fgets用法介绍,阅读专题下面的文章了解更多详细内容。

17

2025.08.27

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

451

2023.10.18

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

1

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 13万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号