0

0

Golang Encoding/Json包的Decoder流式处理_解决大JSON内存溢出

P粉602998670

P粉602998670

发布时间:2026-02-22 13:06:11

|

998人浏览过

|

来源于php中文网

原创

json.decoder能避免内存爆炸,因其是流式解析器,边读字节流边解码,仅需几kb缓冲区;而json.unmarshal需加载完整json到内存,大文件易触发oom。

golang encoding/json包的decoder流式处理_解决大json内存溢出

json.Decoder 为什么能避免内存爆炸

因为 json.Decoder 是流式解析器,它不把整个 JSON 文本读进内存再解析,而是边读字节流边解码——哪怕文件几百 MB,它也只用几 KB 的缓冲区。而 json.Unmarshal 必须拿到完整 []byte 才开始工作,大 JSON 直接触发 OOM。

典型误用场景:用 ioutil.ReadFile(或 os.ReadFile)读取一个 500MB 的日志 JSON 文件,再传给 json.Unmarshal —— 这时 Go 进程内存瞬间飙到 1GB+,然后被系统 kill。

  • 流式处理只在数据源是 io.Reader(如 *os.Filenet.Connbytes.Reader)时生效
  • json.Decoder 内部默认使用 4KB 缓冲,可通过 bufio.NewReaderSize(r, size) 调整,但一般不用动
  • 它对 JSON 格式要求更严格:必须是合法的单个 JSON 值(对象/数组),不能是多个并列的 JSON(如两行 JSON 对象)

如何安全解码超大 JSON 数组(如日志列表)

常见需求:一个文件里存了成千上万个 JSON 对象,每行一个(NDJSON)或包在一个大数组里([{...},{...},...])。前者用 json.Decoder + 循环最稳;后者得先跳过 [,再逐个解码,直到遇到 ] 或 EOF。

关键点:别试图把整个数组解成 []map[string]interface{},那是自找死路。

立即学习go语言免费学习笔记(深入)”;

标小兔AI写标书
标小兔AI写标书

一款专业的标书AI代写平台,提供专业AI标书代写服务,安全、稳定、速度快,可满足各类招投标需求,标小兔,写标书,快如兔。

下载
  • 对于 NDJSON(每行一个 JSON):scanner := bufio.NewScanner(f) 配合 json.Unmarshal 单行解码,简单可靠
  • 对于包裹型大数组:dec := json.NewDecoder(f),先调用 dec.Token() 消耗开头的 [,再用 for dec.More() { dec.Decode(&item) }
  • dec.More() 是安全边界——它在每次 Decode 前检查是否还有下一个值,遇到 ] 自动返回 false,不会 panic

Decoder.Decode() 返回 io.EOF 就代表结束?不一定

io.EOF 只说明输入流到底了,但不等于 JSON 解析成功完成。比如文件末尾突然中断({"name":"alice" 缺少 }),Decode() 会返回 Unexpected EOF,不是 io.EOF

真正该检查的是错误类型,而不是只看是不是 io.EOF

  • 正确做法:if err != nil { if errors.Is(err, io.EOF) || errors.Is(err, io.ErrUnexpectedEOF) { break } else { log.Fatal(err) } }
  • json.SyntaxError 表示格式错(如多逗号、引号没闭合),这种错误要具体打印 err.Error() 和出错位置(.Offset)才好定位
  • 如果解码目标 struct 字段类型和 JSON 值不匹配(比如 JSON 传字符串,struct 字段是 int),Decode() 返回 json.UnmarshalTypeError,不是 panic

嵌套结构 + 流式解码的坑:字段没声明为指针就收不到值

当 JSON 里某个字段是可选(可能为 null),又想区分“字段缺失”和“字段为 null”,必须用指针类型。否则 Decode() 把零值写进去,你就永远不知道原始 JSON 到底有没有这个 key。

例如:{"user":{"name":"bob"}}{"user":null} 在下面两种定义下行为完全不同:

type Resp struct {
    User User `json:"user"`
}
type User struct {
    Name string `json:"name"`
}

此时 User 字段永远不是 nil,null 会被静默转成零值 User{}。换成指针才能捕获语义差异:

type Resp struct {
    User *User `json:"user"`
}
  • 所有可能为 null 的嵌套对象、数组、数字、布尔字段,都建议用指针类型(*string*[]int 等)
  • 注意:指针字段在 JSON 中为 null 时,Decode() 会设为 nil;字段完全缺失时,也是 nil——仍需靠 json.RawMessage 或预扫描 Token 来区分
  • 性能影响极小,指针本身只占 8 字节,且避免了不必要的零值初始化
流式解码真正的复杂点不在 API 调用,而在错误分支的覆盖和 null/missing 的语义拿捏——这两处漏掉,线上跑几天才暴露,查起来特别慢。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

207

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

239

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

348

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

212

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

404

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

365

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

198

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

1031

2025.06.17

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

928

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 9.5万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号