bufio.Scanner 是 Go 中按行读取大文本的高效方式，底层缓冲减少系统调用，默认单行上限 64KB，支持自动处理 \n 和 \r\n，需手动扩容以支持超长行，错误仅通过 scanner.Err() 获取。
在 Go 中用 bufio.Scanner 按行读取文件，是处理大文本最常用且高效的方式——它底层基于缓冲，避免频繁系统调用，内存占用可控，默认单行上限 64KB，适合日志、CSV、配置等场景。
使用 bufio.Scanner 安全读取大文件
bufio.Scanner 是标准库推荐方案，自动处理换行符（\n、\r\n），无需手动切分。关键点：
- 默认每行最大 64KB，超长会报错；如需读超长行，需调用
scanner.Buffer手动扩容 - 不返回错误详情（只返回
scanner.Err()），若需精确错误定位，建议搭配bufio.Reader使用 - 逐行迭代，不加载全文进内存，适合 GB 级日志文件
基础用法：打开文件 + 扫描 + 处理
典型代码结构简洁清晰：
f, err := os.Open("large.log")
if err != nil {
log.Fatal(err)
}
defer f.Close()
scanner := bufio.NewScanner(f)
for scanner.Scan() {
line := scanner.Text() // 或 scanner.Bytes() 获取字节切片
// 处理每一行，例如：strings.TrimSpace(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err) // 注意检查扫描结束后的潜在错误（如 I/O 中断）
}
处理超长行或自定义分隔符
当某行超过 64KB（如单行 JSON 或 base64 内容），需提前设置缓冲区：
立即学习“go语言免费学习笔记（深入）”；
scanner := bufio.NewScanner(f) // 扩容至最多 1MB 每行 buf := make([]byte, 0, 1*1024*1024) scanner.Buffer(buf, 1*1024*1024)
如需按其他符号分割（比如以 | 分隔），可改用 bufio.Reader 配合 ReadString 或 ReadBytes，但需自行处理换行和缓冲边界。
性能提示与常见避坑
- 避免在循环内反复创建
strings.Reader或正则对象；高频处理建议复用regexp.Regexp - 若只需统计行数或简单匹配，用
scanner.Text()足够；若后续要频繁切片/修改，考虑用scanner.Bytes()减少字符串分配 - 不要用
scanner.Bytes()后直接保存指针——下一次Scan()会覆盖底层缓冲，需append([]byte{}, ...)拷贝 - Windows 文件含
\r\n？不用管，Scanner自动归一化为\n，Text()返回结果不含\r
不复杂但容易忽略细节，掌握 Scanner 的缓冲机制和错误检查方式，就能稳稳吃下几个 GB 的纯文本。
