0

0

Python CSV 文件处理的注意事项

冰川箭仙

冰川箭仙

发布时间:2026-01-31 13:48:20

|

314人浏览过

|

来源于php中文网

原创

必须指定 newline='',否则 Windows 下 csv 写入会多空行;读取需用 encoding='utf-8-sig' 消除 BOM;DictReader 字段名易被污染,应校验 fieldnames;中文乱码常因编码误配,优先试 utf-8-sig;大文件须流式处理,禁用 list(reader)。

python csv 文件处理的注意事项

csv 模块读写时必须指定 newline=''

Python 的 csv 模块在 Windows 上容易多出空行,根本原因是它会把 \n 当作行结束符,而文件对象本身又按系统默认方式处理换行(比如 Windows 下自动把 \n 转成 \r\n),导致双重转换。不加 newline=''csv.writer 可能写出 \r\r\n

  • 读取时:用 open(..., newline='') 打开文件,再传给 csv.reader
  • 写入时:同样必须用 open(..., 'w', newline='') ,否则每行末尾多一个空行
  • 别用 encoding='utf-8-sig' 代替 newline=''——前者解决 BOM 问题,后者才是换行控制的关键

csv.DictReader 的字段名可能被意外截断或污染

当 CSV 文件首行含不可见字符(如 BOM、多余空格、制表符)或字段名重复时,csv.DictReader 会静默接受,但后续 row['xxx'] 可能 KeyError 或取到错误列。

  • 打开文件时优先用 encoding='utf-8-sig' 消除 BOM 影响
  • 检查 reader.fieldnames 是否符合预期,必要时手动赋值:fieldnames=['id', 'name', 'email']
  • 避免依赖原始首行——尤其从 Excel 导出的 CSV 常含隐藏格式字符

中文字段或内容乱码,不只是编码问题

常见报错 UnicodeDecodeError: 'gbk' codec can't decode byte 0xad 表面是编码错误,但根源常是:文件实际是 UTF-8 编码却用 gbk 打开,或文件带 BOM 却没用 utf-8-sig

小麦企业网站展示系统1.1
小麦企业网站展示系统1.1

小麦企业网站展示系统介绍:一、安装使用将xiaomai.sql导入数据库二、后台登录后台帐号,密码默认都是admin,config.php 配置文件可根据自行需要修改,IP地址,数据库用户名,密码,及表名后台目录默认admin,支持自行任意修改目录名三、注意事项1 本源码完全免费,采用伪静态,减少不必要的源码重复,速度更快,支持二次开发。2、注明本程序编码为UTF8,如发生乱码,请注意修改编码3、

下载
  • 优先尝试 encoding='utf-8-sig'(兼容 BOM)
  • 若失败,用 chardet 库探测:chardet.detect(open('x.csv', 'rb').read(10000))
  • Excel 保存的 CSV 默认可能是 gbk(Windows 简体中文版),不是 UTF-8——别假设所有 CSV 都是 UTF-8

大文件用 csv 模块逐行处理,别一次性 list(reader)

csv.reader 返回迭代器,但有人习惯转成 list 再遍历,几百万行 CSV 很快吃光内存。更隐蔽的问题是:某些 Excel 导出的 CSV 含跨行字段(引号包裹的换行符),list(reader) 会提前耗尽迭代器,导致后续逻辑拿不到数据。

立即学习Python免费学习笔记(深入)”;

  • 坚持用 for row in reader: 流式处理
  • 需要随机访问?先写入临时 SQLite 数据库,比全载入内存安全得多
  • csv.Sniffer().sniff() 探测分隔符前,确保只读前 1024 字节,避免大文件阻塞
BOM、换行、编码、字段名、内存占用——这些点单独看都不难,但混在一起时,错一个就卡住一整天。最麻烦的是错误不报,只是结果不对。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

811

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1129

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

804

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

454

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2355

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

824

2023.08.10

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

1667

2023.08.28

windows锁屏快捷键
windows锁屏快捷键

windows锁屏快捷键是Windows键+L、Ctrl+Alt+Del、Windows键+D、Windows键+P和Windows键+R。本专题为大家提供windows相关的文章、下载、课程内容,供大家免费下载体验。

1640

2023.08.30

2026赚钱平台入口大全
2026赚钱平台入口大全

2026年最新赚钱平台入口汇总,涵盖任务众包、内容创作、电商运营、技能变现等多类正规渠道,助你轻松开启副业增收之路。阅读专题下面的文章了解更多详细内容。

54

2026.01.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 14.7万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 2.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号