0

0

Python 正确处理 Unicode 字符串的方式

冰川箭仙

冰川箭仙

发布时间:2026-02-18 13:15:11

|

239人浏览过

|

来源于php中文网

原创

python 2 中 str 是字节序列、unicode 才是字符串,python 3 中 str 是 unicode、bytes 才是字节;混用导致多数 unicode 错误,读写文件必须显式指定 encoding,http 响应应优先用 content + 显式 decode,正则需加 re.u 处理中文。

python 正确处理 unicode 字符串的方式

Python 2 和 Python 3 对 str 的理解完全不同

Python 2 把 str 当字节序列,unicode 才是真正的字符串;Python 3 反过来:str 是 Unicode 字符串,bytes 才是字节。混用这两者是绝大多数 Unicode 错误的根源。

  • 读文件不加 encoding 参数?默认用系统 locale 解码,Windows 上常是 cp1252,Linux/macOS 上可能是 utf-8ascii —— 同一份代码在不同机器上可能突然报 UnicodeDecodeError
  • open('file.txt').read() 在 Python 3 中返回 str,但底层读的是字节,它会悄悄用 locale.getpreferredencoding() 去 decode —— 这个值不可靠
  • str.encode() 而不指定编码?默认用 utf-8,但如果你后续要写入数据库或发 HTTP 请求,而对方期望 latin-1gbk,就会出错

读写文件必须显式声明 encoding

除非你明确知道自己在处理二进制数据,否则所有文本 I/O 都该带 encoding='utf-8'(或其它确定编码)。

  • 写文件时漏掉 encoding:Python 3 会用 locale 编码写入,中文可能变成乱码,且无法被其他 UTF-8 工具正确读取
  • 读 CSV 文件用 pandas.read_csv() 却没传 encoding?常见报错 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 123 —— 实际文件是 gbk 编码
  • with open(path, 'w') as f: 写中文却没指定 encoding,Python 3 可能用 utf-8 写成功,但 Windows 记事本默认用 ansi 打开,显示为乱码 —— 这不是 Python 错,是你没控制输出编码

示例:

动态WEB网站中的PHP和MySQL:直观的QuickPro指南第2版
动态WEB网站中的PHP和MySQL:直观的QuickPro指南第2版

动态WEB网站中的PHP和MySQL详细反映实际程序的需求,仔细地探讨外部数据的验证(例如信用卡卡号的格式)、用户登录以及如何使用模板建立网页的标准外观。动态WEB网站中的PHP和MySQL的内容不仅仅是这些。书中还提到如何串联JavaScript与PHP让用户操作时更快、更方便。还有正确处理用户输入错误的方法,让网站看起来更专业。另外还引入大量来自PEAR外挂函数库的强大功能,对常用的、强大的包

下载
with open('data.txt', 'r', encoding='utf-8') as f:
    text = f.read()  # 安全
<p>with open('out.csv', 'w', encoding='gbk') as f:
f.write('姓名,年龄\n张三,25')  # 明确适配目标环境

HTTP 响应体解码不能只信 response.text

Requests 库的 response.text 会尝试从 HTTP headers 或响应内容中猜编码,但这个猜测经常不准,尤其服务端没设 Content-Type: text/html; charset=utf-8 时。

立即学习Python免费学习笔记(深入)”;

  • 网页源码里有 <meta charset="gb2312">

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

442

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

322

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

75

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

4

2026.01.31

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

770

2023.08.02

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

553

2023.08.03

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

561

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号