用encoding/csv需手动映射列名防错位;MySQL批量导入优先用预处理多值INSERT并分事务;Excel读写须处理类型转换与空值;JSON导出要区分零值与空值,关键字段禁用omitempty。

用 encoding/csv 读写 CSV 文件时字段顺序容易错乱
Go 的 csv.Reader 和 csv.Writer 默认不校验字段名,直接按行切片处理。如果源文件头行顺序和结构体字段声明顺序不一致,csv.Decode 会静默错位赋值,导致数据错乱且无报错。
- 务必用
csv.NewReader+ 手动读取首行(reader.Read()),再通过map[string]int建立列名→索引映射 - 解析每行时,用映射查列名对应位置,再赋值给结构体字段,避免依赖结构体字段顺序
- 导出时用
structtag(如csv:"user_id")配合反射提取字段名,但注意:反射开销大,高频导出建议预生成字段名列表和 getter 函数
MySQL 批量导入用 LOAD DATA INFILE 还是 INSERT ... VALUES (...), (...)
本地开发用 LOAD DATA INFILE 很快,但生产环境常被禁用(MySQL 配置 secure_file_priv 限制路径,且需文件在服务端)。实际更可靠的是拼接多值 INSERT,但要注意长度和事务控制。
- 单条
INSERT最多带 1000 行(MySQL 默认max_allowed_packet约 4MB,按每行 2KB 估算),超限会报ERROR 1153 (0x...): Got a packet bigger than 'max_allowed_packet' bytes - 用
sql.DB.Prepare+stmt.Exec批量执行比拼 SQL 字符串更快,也防注入;但注意 Go 的database/sql不原生支持多值占位符,需手动构造(?, ?, ?), (?, ?, ?)部分 - 每 500–1000 行 commit 一次事务,避免长事务锁表或 OOM
Excel 导入导出别硬啃 excelize 的 API 细节
excelize 功能全但接口偏底层:读 Excel 要自己遍历 sheet、row、cell;写的时候要反复调 SetCellValue。真正卡点不是功能,而是类型转换和空值处理。
- 读取时,
f.GetSheetList()后对每个 sheet 调f.GetSheetRow()比f.GetRows()更稳——后者对合并单元格、空行行为不一致 - 单元格值默认是
interface{},可能是string、float64或time.Time,必须用f.GetCellValue(sheet, ref)并根据 Excel 类型码(f.GetCellType)判断后再转,不能直接fmt.Sprintf("%v") - 导出时间字段务必调
f.SetColWidth并用f.SetCellStyle设为日期格式("yyyy-mm-dd"),否则 Excel 打开显示为数字
JSON 导出嵌套结构时忽略空字段却漏掉零值字段
json.Marshal 的 omitempty 标签只跳过空值(""、0、false、nil),但业务中“数量为 0”和“未填写数量”语义不同,不能一并忽略。
立即学习“go语言免费学习笔记(深入)”;
- 不要全用
omitempty,对关键数值字段(如Amount int `json:"amount"`)去掉该 tag - 需要区分“空”和“零”的场景,改用指针字段:
Amount *int `json:"amount,omitempty"`,这样nil不出现,&0显式输出0 - 导出前统一做一次
json.RawMessage预处理,可拦截并修正特殊字段(如把CreatedAt时间转为秒级时间戳),比全局自定义 marshaler 更轻量










