使用bufio.Reader分块读取可避免内存溢出，结合mmap提升随机访问效率，sync.Pool复用缓冲区减少GC开销，Scanner调整缓存处理大行文本，核心是流式处理与内存优化。
读取大文件时，Go语言的默认I/O方式可能造成内存占用高、速度慢等问题。要提升性能，关键在于合理控制缓冲区、避免全量加载、利用流式处理和适当并发。以下是几种实用的优化策略。
使用 bufio.Reader 分块读取
直接使用 os.Open 读取整个文件容易导致内存溢出。推荐用 bufio.Reader 按块读取，减少系统调用次数同时控制内存使用。
示例代码：
file, err := os.Open("largefile.txt")
if err != nil {
log.Fatal(err)
}
defer file.Close()
reader := bufio.NewReader(file)
buffer := make([]byte, 4096) // 设置合适的缓冲区大小
for {
n, err := reader.Read(buffer)
if n > 0 {
// 处理 buffer[0:n]
processChunk(buffer[:n])
}
if err == io.EOF {
break
}
if err != nil {
log.Fatal(err)
}
}
缓冲区大小建议在 4KB 到 64KB 之间，太小增加系统调用，太大浪费内存。
结合 mmap 提升随机访问效率
对于需要频繁随机访问的大文件，可使用内存映射 mmap 技术，避免多次 read 调用。Go 中可通过第三方库如 github.com/edsrzf/mmap-go 实现。
立即学习“go语言免费学习笔记（深入）”；
mmap 将文件直接映射到虚拟内存，操作系统按需加载页，适合只读或大范围扫描场景。
注意：不适用于写密集或内存受限环境，且跨平台支持需谨慎测试。
使用 sync.Pool 减少内存分配开销
频繁创建临时缓冲区会加重GC压力。通过 sync.Pool 复用内存块，降低分配频率。
var bufferPool = sync.Pool{
New: func() interface{} {
return make([]byte, 32*1024) // 32KB 缓冲
},
}
// 使用时
buf := bufferPool.Get().([]byte)
n, err := reader.Read(buf)
// ... 处理数据
bufferPool.Put(buf) // 回收
特别适合长时间运行的服务型程序，能显著减少GC停顿。
按行处理时优化 scanner 性能
若文件是文本格式且需逐行解析，bufio.Scanner 是简洁选择，但默认最大限制 64KB。大行数据会报错。
可调整缓存大小：
scanner := bufio.NewScanner(file)
buffer := make([]byte, 64*1024)
scanner.Buffer(buffer, 10*1024*1024) // 最大行支持 10MB
for scanner.Scan() {
line := scanner.Text()
processLine(line)
}
超过设定上限仍会失败，应根据实际数据调整。
基本上就这些。核心思路是避免一次性加载，用缓冲流控 + 内存复用 + 合理分块。针对具体场景选择方法，性能通常能提升数倍。
