json.tool 命令行处理大文件会因全量加载内存而失败;推荐用 jq(流式、高效)或 ijson(Python 中迭代解析),超 1GB 应转向结构探查、分块导出或数据库查询。

json.tool 命令行对大文件直接失败是常态
json.tool 是 Python 自带的 JSON 格式化工具,但它的命令行用法 python -m json.tool input.json output.json 会把整个文件一次性读入内存解析。当 JSON 文件超过几百 MB,常见现象是进程被系统 OOM killer 杀掉,或卡死数分钟无响应——这不是你操作错,是设计如此。
用流式解析替代全量加载(推荐:ijson)
真正可行的方案是绕过 json.tool,改用支持迭代解析的库。最轻量且兼容性好的选择是 ijson,它不构建完整对象树,而是按需提取路径值,适合只做“美化输出”这种单次遍历任务:
- 安装:
pip install ijson - 若只需验证+重排格式(不修改内容),用
jq更快:jq '.' input.json > output.json(jq默认流式处理,1GB 文件通常几秒内完成) - 若必须用 Python 且需定制逻辑(比如跳过某些字段、截断长数组),可用
ijson.parse()+ 手动缩进拼接,但注意:这已不是“美化”,而是自定义序列化,需自行控制indent、separators等参数
强行用 json.tool 的折中办法(仅限 100MB 以内)
如果坚持用标准库,唯一缓解方式是分块预检 + 调整系统资源:
- 先用
head -c 100M input.json | python -m json.tool > /dev/null快速验证前 100MB 是否合法 - 增加 Python 内存限制(无效但常被误试):
ulimit -v $((1024*1024*2000))(设 2GB 虚拟内存),实际效果取决于系统剩余内存 - 换用 PyPy 运行(对大 JSON 解析有小幅 GC 优势),命令改为
pypy -m json.tool ...
真正的大文件(>1GB)别碰纯文本美化
超过 1GB 的 JSON 几乎肯定不该以单文件形式存在。此时所谓“美化”已失去意义——人类无法阅读,编辑器打不开,Git 无法 diff。更务实的做法是:
立即学习“Python免费学习笔记(深入)”;
- 用
jq 'keys'或ijson.items('input.json', 'item.key')快速探查结构 - 导出为 CSV/Parquet(用
pandas.read_json(..., lines=True)如果是 JSON Lines) - 或者直接在数据库里查(
sqlite3+json1扩展可高效查询嵌套字段)
硬要格式化,jq 是目前唯一靠谱的通用命令行工具;Python 标准库的 json.tool 在这个量级下只是个验证器,不是处理器。










