必须指定 newline='',否则 Windows 下 csv 写入会多空行;读取需用 encoding='utf-8-sig' 消除 BOM;DictReader 字段名易被污染,应校验 fieldnames;中文乱码常因编码误配,优先试 utf-8-sig;大文件须流式处理,禁用 list(reader)。

用 csv 模块读写时必须指定 newline=''
Python 的 csv 模块在 Windows 上容易多出空行,根本原因是它会把 \n 当作行结束符,而文件对象本身又按系统默认方式处理换行(比如 Windows 下自动把 \n 转成 \r\n),导致双重转换。不加 newline='',csv.writer 可能写出 \r\r\n。
- 读取时:用
open(..., newline='')打开文件,再传给csv.reader - 写入时:同样必须用
open(..., 'w', newline=''),否则每行末尾多一个空行 - 别用
encoding='utf-8-sig'代替newline=''——前者解决 BOM 问题,后者才是换行控制的关键
csv.DictReader 的字段名可能被意外截断或污染
当 CSV 文件首行含不可见字符(如 BOM、多余空格、制表符)或字段名重复时,csv.DictReader 会静默接受,但后续 row['xxx'] 可能 KeyError 或取到错误列。
- 打开文件时优先用
encoding='utf-8-sig'消除 BOM 影响 - 检查
reader.fieldnames是否符合预期,必要时手动赋值:fieldnames=['id', 'name', 'email'] - 避免依赖原始首行——尤其从 Excel 导出的 CSV 常含隐藏格式字符
中文字段或内容乱码,不只是编码问题
常见报错 UnicodeDecodeError: 'gbk' codec can't decode byte 0xad 表面是编码错误,但根源常是:文件实际是 UTF-8 编码却用 gbk 打开,或文件带 BOM 却没用 utf-8-sig。
小麦企业网站展示系统介绍:一、安装使用将xiaomai.sql导入数据库二、后台登录后台帐号,密码默认都是admin,config.php 配置文件可根据自行需要修改,IP地址,数据库用户名,密码,及表名后台目录默认admin,支持自行任意修改目录名三、注意事项1 本源码完全免费,采用伪静态,减少不必要的源码重复,速度更快,支持二次开发。2、注明本程序编码为UTF8,如发生乱码,请注意修改编码3、
- 优先尝试
encoding='utf-8-sig'(兼容 BOM) - 若失败,用
chardet库探测:chardet.detect(open('x.csv', 'rb').read(10000)) - Excel 保存的 CSV 默认可能是
gbk(Windows 简体中文版),不是 UTF-8——别假设所有 CSV 都是 UTF-8
大文件用 csv 模块逐行处理,别一次性 list(reader)
csv.reader 返回迭代器,但有人习惯转成 list 再遍历,几百万行 CSV 很快吃光内存。更隐蔽的问题是:某些 Excel 导出的 CSV 含跨行字段(引号包裹的换行符),list(reader) 会提前耗尽迭代器,导致后续逻辑拿不到数据。
立即学习“Python免费学习笔记(深入)”;
- 坚持用
for row in reader:流式处理 - 需要随机访问?先写入临时 SQLite 数据库,比全载入内存安全得多
- 用
csv.Sniffer().sniff()探测分隔符前,确保只读前 1024 字节,避免大文件阻塞









