小文件用os.ReadFile但需严谨错误处理:检查err、区分错误类型、注意100MB隐式上限及UTF-8编码限制;大文件须用bufio.Scanner并调整缓冲区防超长行报错。

小文件直接用 os.ReadFile,但别忽略错误细节
如果你读的是配置文件、JSON、YAML 或几 MB 以内的文本/二进制文件,os.ReadFile 是最省心的选择——它自动打开、读取、关闭,一行代码搞定。但它不是“万能胶”,容易出问题的地方藏在错误处理里:
-
os.ReadFile返回[]byte和error,必须检查err再用data,否则空文件或权限失败时可能 panic 或静默错乱 - 错误类型可判断:比如
errors.Is(err, fs.ErrNotExist)能区分“文件不存在”和“没权限”,比字符串匹配更可靠 - 它内部调用
io.ReadAll,有隐式上限(约 100MB),超限会返回io.ErrUnexpectedEOF,不是你代码写错了,是文件太大了 - 读完转
string(data)仅对 UTF-8 安全;GBK 或带 BOM 的文件要先用golang.org/x/text/encoding解码
示例中常见写法:data, err := os.ReadFile("config.json") —— 这行没问题,但后面不加 if err != nil { ... } 就等于裸奔。
大文本文件优先选 bufio.Scanner,小心单行超长报错
日志、CSV、导出报表这类几十 MB 甚至上 GB 的文本文件,绝不能用 os.ReadFile,内存会爆。此时 bufio.Scanner 是标准答案:逐行流式读,内存恒定在几 KB。
- 默认单行最大 64KB,遇到超长日志行会直接报
scanner: token too long,不是程序卡住,是缓冲区满了 - 修复方法简单:在
scanner.Scan()前加scanner.Buffer(make([]byte, 64*1024), 1,把最大容量提到 1MB -
scanner.Text()自动去掉换行符,scanner.Bytes()返回原始字节,适合需要保留 \r\n 或处理二进制混入场景 - 它只适合文本——含
\x00或非 UTF-8 字节时会提前截断或报错,别硬套
典型误用:拿 Scanner 去读图片或 zip 文件,结果第一行就读失败。记住,它是为人类可读文本设计的。
立即学习“go语言免费学习笔记(深入)”;
需要精细控制时,用 bufio.Reader + Read 或 ReadString
当你要自己决定每次读多少字节、按特定分隔符切分、或者边读边解密/校验时,bufio.Reader 提供底层自由度。它不像 Scanner 那样封装逻辑,但更透明可控。
-
reader.ReadString('\n')比Scanner多返回换行符,适合需保留格式的解析;最后一行没换行时,err == io.EOF但line非空,得手动处理 -
reader.Read(buf)是最原始方式,buf大小建议设为 4KB–64KB(如make([]byte, 32*1024)),太小系统调用多,太大浪费内存 - 每次调用后必须检查
err == io.EOF—— 这不是错误,是正常结束信号;只判err != nil会把 EOF 当异常中断流程 - 如果文件是自定义二进制协议(比如前 4 字节是长度字段),用
io.ReadFull(f, header)确保读满,避免后续解析错位
结构化数据别手动拆,直接用 json.NewDecoder 等流式解码器
读 JSON、XML、CSV 时,别先用 os.ReadFile 拿到全文再 json.Unmarshal——既浪费内存,又失去流式优势。标准库解码器都接受 io.Reader,可直接接文件句柄。
-
json.NewDecoder(file).Decode(&v)只读必要字段,不加载全文;支持数组流式解码(配合decoder.More()) -
csv.NewReader(file).Read()自动处理引号包裹、逗号转义、换行嵌套,比用strings.Split安全十倍 - 这些解码器还能无缝接管道、gzip 流、HTTP 响应体,扩展性远超字节切片操作
- 注意:它们不处理编码转换,输入仍需是 UTF-8;GBK CSV 得先用
transform.NewReader包一层
真正难的从来不是“怎么读”,而是“读错了怎么知道”——路径拼错、磁盘只读、文件被其他进程锁住,这些错误不会在 Read 调用里体现,得靠 err 的具体类型和上下文去定位。










