推荐使用 bufio.Writer 批量缓冲写入——它默认维护 4KB 缓冲区,仅在满、显式 Flush() 或关闭时触发系统调用,显著减少系统调用次数并提升大文件写入效率。

直接用 os.WriteFile 或反复调用 file.Write() 写大文件容易导致频繁系统调用和内存抖动,性能差。核心优化思路是:减少系统调用次数、避免小块写入、利用缓冲区批量处理。Go 标准库的 bufio.Writer 和底层 io.Writer 接口配合使用,能显著提升大文件写入效率。
用 bufio.Writer 批量缓冲写入
bufio.Writer 是最常用也最推荐的方式——它在内存中维护一个缓冲区(默认 4KB),只有缓冲区满、显式调用 Flush() 或关闭时才真正触发系统写入。这对连续写入字符串、JSON、日志行等场景非常高效。
- 初始化时可指定缓冲区大小(如
bufio.NewWriterSize(file, 1 设为 1MB),对大文件建议设为 512KB–2MB,避免过小导致频繁 flush,也避免过大占用过多内存 - 写完务必调用
w.Flush(),否则最后一块数据可能滞留在缓冲区未落盘;更稳妥的是用defer w.Flush()或配合defer file.Close() - 不要混用
file.Write()和bufio.Writer写同一个文件句柄,会导致数据错乱或 panic
按块写入 + io.Copy 避免内存全载
当你要写入的数据源本身是流式或来自另一个大文件(如复制、压缩、加密后写入),不要先把全部内容读进内存(os.ReadFile),而是用 io.Copy 或手动分块读写:
- 用
io.Copy(dstWriter, srcReader)自动处理缓冲与分块,底层已优化,简洁安全 - 若需自定义逻辑(如边解密边写),可用固定大小字节片(如
make([]byte, 32*1024))循环Read/Write,每次读多少就写多少,内存占用恒定 - 目标 writer 建议仍包装成
bufio.Writer,让写入端也有缓冲,避免每块都 syscall
注意文件打开模式与 sync 控制
写入性能不仅取决于缓冲,还受系统级行为影响:
立即学习“go语言免费学习笔记(深入)”;
- 用
os.OpenFile(..., os.O_CREATE|os.O_WRONLY|os.O_TRUNC)明确语义,避免意外追加或只读失败 - 默认不强制落盘,适合吞吐优先场景;如需强持久化(如关键日志),写完调用
file.Sync(),但会明显降低速度,慎用 - Linux 下可考虑
syscall.Open(..., syscall.O_DIRECT)绕过页缓存(需对齐、大块、无缓冲),但复杂且易出错,普通业务不推荐
简单对比示例(写 1GB 文本)
实测表明:原始 file.Write 每次写一行(~100B)可能耗时数秒;用 bufio.NewWriterSize(f, 1 可缩短至 200–400ms;再配合 io.Copy 流式生成内容,整体更稳定可控。关键不是“用不用 bufio”,而是“是否让写入尽量靠近系统调用的最小合理粒度”。










