优先用os.ReadFile/os.WriteFile处理小文件,大文件或需流式处理时用os.Open+bufio.Scanner或io.Copy,追加写必须用os.OpenFile并指定O_APPEND标志。

用 ioutil.ReadFile 读文件最简单,但注意它会把整个文件加载进内存
如果你确定文件不大(比如配置文件、JSON 小数据),ioutil.ReadFile 是最快捷的选择。它返回 []byte 和 error,不用手动开闭文件。
- 适合一次性读取全部内容,比如
json.Unmarshal前处理 - 不适用于大文件(GB 级),否则可能触发 OOM
- Go 1.16+ 已弃用
ioutil,应改用os.ReadFile(行为完全一致,只是包路径不同)
data, err := os.ReadFile("config.json")
if err != nil {
log.Fatal(err)
}
var cfg Config
json.Unmarshal(data, &cfg)
写小文件优先用 os.WriteFile,它自动处理权限和覆盖逻辑
os.WriteFile 是 ioutil.WriteFile 的替代,内部调用 os.OpenFile 并设好 O_WRONLY | O_CREATE | O_TRUNC 标志,省去手动控制打开模式的麻烦。
- 第三个参数是文件权限,Linux/macOS 上生效(如
0644),Windows 忽略 - 默认覆盖原文件;如需追加,不能用它,得换
os.OpenFile - 写入失败时不会残留半截文件(原子性由底层保证)
err := os.WriteFile("output.txt", []byte("hello world"), 0644)
if err != nil {
log.Fatal(err)
}
读大文件或需要流式处理时,必须用 os.Open + bufio.Scanner 或 io.Copy
当文件可能超过几十 MB,或者你只想逐行/分块处理(比如日志分析、CSV 解析),就不能再依赖一次性读取函数。
-
os.Open返回*os.File,记得用defer f.Close() - 逐行读推荐
bufio.Scanner(默认单行上限 64KB,超限会报scanner.ErrTooLong) - 整文件复制(如备份)直接用
io.Copy(dst, src),底层用 32KB 缓冲,高效且不爆内存
f, err := os.Open("huge.log")
if err != nil {
log.Fatal(err)
}
defer f.Close()
scanner := bufio.NewScanner(f)
for scanner.Scan() {
line := scanner.Text() // 注意:不包含 \n
process(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
追加写入必须显式用 os.OpenFile,别指望 os.WriteFile
os.WriteFile 总是覆盖,想追加只能自己构造文件打开选项。常见错误是漏掉 os.O_APPEND 或误传 os.O_CREATE 权限位。
立即学习“go语言免费学习笔记(深入)”;
- 必须同时指定
os.O_WRONLY | os.O_APPEND | os.O_CREATE - 权限位只在文件新建时生效;已存在文件不受影响
- 写入前不检查文件是否存在——
O_CREATE本身就有“存在则跳过”语义
f, err := os.OpenFile("log.txt", os.O_WRONLY|os.O_APPEND|os.O_CREATE, 0644)
if err != nil {
log.Fatal(err)
}
defer f.Close()
_, err = f.Write([]byte("new entry\n"))
if err != nil {
log.Fatal(err)
}
实际项目里最容易被忽略的是:**大文件读写不加 context 控制或超时,会导致 goroutine 卡死;而小文件用错 API(比如该用 os.WriteFile 却手写 open/write/close)又平白增加出错概率**。选哪个函数,核心就看两个维度:文件大小预期、是否需要流式控制。










