小文件用os.ReadFile直接读取,大文件或需逐行处理时用bufio.Scanner流式读取,注意单行长度限制及编码问题。

在 Go 语言中读取文件内容有多种方式,选择哪种取决于文件大小、是否需要逐行处理、内存占用要求以及是否要修改内容。核心原则是:小文件直接加载,大文件流式处理,文本常用 bufio.Scanner,二进制用 io.ReadFull 或 os.ReadFile 等。
一次性读取小文件(最常用)
适用于配置文件、JSON、YAML 等通常不大的文本或数据文件。Go 提供了简洁的内置函数:
-
os.ReadFile(filename):返回[]byte和 error,自动打开、读取、关闭,推荐用于 ≤ 几 MB 的文件 - 读完后可转字符串:
string(data);或解析 JSON:json.Unmarshal(data, &v) - 注意:该函数不区分文本编码,一律按字节读取;UTF-8 文本可直接转 string,GBK 等需用
golang.org/x/text/encoding转换
逐行读取文本文件(适合日志、CSV 等)
避免把整个大文件加载进内存,尤其处理日志或导出数据时更安全:
- 用
bufio.NewScanner(file),配合scanner.Scan()循环读取每行 -
scanner.Text()获取当前行(不含换行符),scanner.Bytes()获取原始字节 - 默认单行上限 64KB,超长会报错;如需支持超长行,调用
scanner.Buffer(make([]byte, 64*1024), 1 扩容 - 示例:读取 access.log 并统计 404 行数,一行一处理,内存恒定
按块读取任意文件(控制内存 + 处理大文件)
当需要自定义缓冲区大小、校验、加密或边读边写时,用底层 io.Read 接口:
立即学习“go语言免费学习笔记(深入)”;
- 打开文件得
*os.File,然后创建固定大小的buf := make([]byte, 4096) - 循环调用
n, err := file.Read(buf),每次读最多 len(buf) 字节,n是实际读取数 - 读到
io.EOF表示结束;非 EOF 错误需中断处理 - 适合复制大文件、计算哈希、解压流等场景
读取并解析结构化数据(JSON / XML / CSV)
不要手动拆字符串,优先使用标准库或成熟第三方包解析:
- JSON:
json.NewDecoder(file).Decode(&v)支持流式解码,不依赖全文加载 - CSV:
csv.NewReader(file).Read()每次读一行切片,自动处理引号、逗号转义 - XML:
xml.NewDecoder(file).Decode(&v)同样支持逐节点解析 - 所有这些都基于
io.Reader,可接管道、网络响应甚至压缩流(如gzip.NewReader(file))
基本上就这些。选对方法比写对代码更重要——小文件图省事用 os.ReadFile,日志类文本上 bufio.Scanner,大文件或特殊需求走 Read 块读,结构化数据交给专用解码器。不复杂但容易忽略细节,比如 Scanner 行长限制、编码问题、错误检查位置,这些才是线上出问题的常见原因。










