go 的 os 包适合底层跨平台文件操作,但需注意错误处理、资源释放(defer f.close())和性能边界;小文件用 os.readfile/writefile,大文件用 bufio.scanner 或 io.copy 流式处理。

Go 的 os 包适合做底层、跨平台的文件系统操作,但直接用它读写文件容易忽略错误处理、资源释放和性能边界——尤其在高频小文件或大文件场景下。
用 os.Open 和 os.Create 时必须手动 Close
这两个函数返回 *os.File,不是一次性读完就自动关闭。忘记 Close 会导致文件描述符泄漏,Linux 下很快会报 too many open files 错误。
正确做法是配合 defer:
f, err := os.Open("data.txt")
if err != nil {
log.Fatal(err)
}
defer f.Close() // 必须放 err 检查之后,且紧邻打开语句
常见错误:
立即学习“go语言免费学习笔记(深入)”;
- 把
defer f.Close()写在函数开头,结果f还没初始化就 defer; - 在循环里反复
os.Open却只在函数末尾defer一次,实际只关了最后一次打开的文件; - 用
os.Create覆盖已有文件时,没检查是否真有写权限(比如 Windows 下只读文件会静默失败或 panic)。
ioutil 已弃用,改用 os.ReadFile 和 os.WriteFile
Go 1.16+ 中 ioutil.ReadFile 等函数被移到 os 包,语义更清晰,且默认做了内存优化(比如内部复用 buffer)。
它们适合「整文件读写」场景,例如配置加载、日志快照、小体积 JSON:
data, err := os.ReadFile("config.json") // 返回 []byte
if err != nil {
// 处理错误
}
err = os.WriteFile("backup.json", data, 0644) // 第三个参数是 perm,注意不是字符串
注意点:
-
os.WriteFile总是覆盖写入,不会追加; - 权限参数
0644是八进制字面量,不是字符串"0644"; - 超过几十 MB 的文件不建议用这两个函数,会一次性分配大内存,触发 GC 压力。
大文件流式处理要用 bufio.Scanner 或 io.Copy
逐行读日志、转存二进制流、压缩上传等场景,不能把整个文件 load 到内存。
按行处理文本:
f, _ := os.Open("access.log")
scanner := bufio.NewScanner(f)
for scanner.Scan() {
line := scanner.Text() // 注意:Text() 不含换行符;Bytes() 返回原始字节
// 处理单行
}
if err := scanner.Err(); err != nil {
// 必须检查 scanner.Err(),否则 I/O 错误会被忽略
}
f.Close()
高效复制文件(如备份):
src, _ := os.Open("source.bin")
dst, _ := os.Create("dest.bin")
_, err := io.Copy(dst, src) // 内部用 32KB buffer,不用自己管理
src.Close()
dst.Close()
关键细节:
-
bufio.Scanner默认单行上限 64KB,超长行会报scanner: token too long,需用scanner.Buffer(make([]byte, 4096), 1 手动扩容; -
io.Copy返回已复制字节数,可用于校验完整性; - 别用
for { _, err := src.Read(buf); ...}手动循环,容易漏判io.EOF或其他临时错误。
os.Stat 和 os.IsNotExist 是判断文件状态的可靠组合
检查文件是否存在、是否为目录、修改时间等,不要依赖 os.Open 的错误信息字符串去匹配 "no such file" —— 不同系统返回不同文案。
标准写法:
fi, err := os.Stat("temp.db")
if os.IsNotExist(err) {
// 文件不存在,可创建
} else if err != nil {
// 其他错误,如权限不足
} else {
// fi 是 *os.FileInfo,可用 fi.IsDir()、fi.Size()、fi.ModTime()
}
常见误用:
- 对目录调用
os.Open后直接Read,会得到is a directory错误,但不如先Stat判断类型来得明确; - 用
os.Getwd()拼路径再操作,不如用filepath.Join处理跨平台路径分隔符; - 在容器或 NFS 环境中,
os.Stat可能因缓存延迟返回过期 mtime,需要结合业务容忍度决定是否加time.Sleep重试。
真正难的不是调哪个函数,而是想清楚:这个文件操作是一次性还是持续性的?数据规模多大?出错后能否重试?权限和并发谁来保障?这些决定了该用 os 还是封装一层 fs.FS,或者干脆交给 github.com/spf13/afero 这类抽象层。










