Go标准库encoding/csv包提供高效CSV读写能力,需注意Reader/Writer用法、编码处理、BOM跳过、流式逐行解析及Flush调用等关键细节。

Go语言标准库中的encoding/csv包提供了简洁、高效、内存友好的CSV读写能力,无需第三方依赖即可完成大多数数据处理任务。关键在于理解csv.Reader和csv.Writer的使用模式,注意编码、分隔符、引号与错误处理等细节。
读取CSV文件:逐行解析与结构化映射
使用csv.NewReader读取文件时,推荐按行(Read())或批量(ReadAll())方式处理。对首行含列名的CSV,可先读取header,再将后续每行映射为map[string]string或结构体实例。
- 打开文件后务必用
defer f.Close()释放资源 - 调用
reader.Read()返回[]string切片,每个元素对应一列原始字符串,不自动类型转换 - 若需结构化数据,定义struct并用字段标签(如
csv:"name")配合反射或手动赋值 - 遇到空行或格式错误会返回非nil error,建议在循环中检查并跳过或记录
写入CSV文件:控制格式与安全转义
csv.Writer默认使用逗号分隔、双引号包裹含特殊字符(如逗号、换行、引号)的字段,并自动转义内部引号。可通过Comma和UseCRLF字段自定义分隔符和换行符。
- 写入前调用
writer.Write(header)输出表头(可选) - 每行数据传入
writer.Write([]string{...}),内容会被自动转义和包裹 - 写入完成后必须调用
writer.Flush()确保缓冲区数据落盘,否则可能丢失最后几行 - 中文等UTF-8文本无需额外编码处理,但需确保文件以UTF-8保存(编辑器/终端环境要支持)
处理常见问题:编码、BOM、缺失值与大文件
实际项目中常遇到带BOM的UTF-8文件、空字段、超长行或GB级大文件。Go本身不内置BOM处理,需手动检测跳过;对大文件应避免ReadAll(),改用流式逐行处理。
立即学习“go语言免费学习笔记(深入)”;
- 读取前可用
bytes.HasPrefix(data, []byte("\xef\xbb\xbf"))判断并截掉BOM - 空字段表现为
"",可根据业务逻辑转为nil、零值或保留原样 - 设置
reader.FieldsPerRecord = -1允许每行字段数不同(兼容不规范CSV) - 用
bufio.NewReader(f).ReadSlice('\n')配合csv.NewReader实现更细粒度的流控(如限速、进度反馈)
完整示例:读取用户数据并过滤写入新文件
以下是一个典型场景:从users.csv读取姓名、年龄、城市三列,筛选年龄≥18的用户,写入adults.csv,并添加时间戳列。
(代码片段示意,不含错误处理细节)
f, _ := os.Open("users.csv")
defer f.Close()
r := csv.NewReader(f)
header, _ := r.Read() // ["name","age","city"]
w, _ := os.Create("adults.csv")
defer w.Close()
writer := csv.NewWriter(w)
writer.Write(append(header, "processed_at"))
for {
record, err := r.Read()
if err == io.EOF { break }
if err != nil { log.Fatal(err) }
age, _ := strconv.Atoi(record[1])
if age >= 18 {
now := time.Now().Format("2006-01-02")
writer.Write(append(record, now))
}
}
writer.Flush()










