0

0

Python 对象序列化与反序列化最佳实践

冷炫風刃

冷炫風刃

发布时间:2026-01-26 19:25:35

|

875人浏览过

|

来源于php中文网

原创

pickle 不该用于不可信数据,因其反序列化会执行任意代码;应改用 json 或 msgpack 等安全方案,并显式处理 datetime、bytes、Decimal 等类型。

python 对象序列化与反序列化最佳实践

为什么 pickle 不该用于不可信数据

pickle 反序列化会执行任意代码,只要载入的字节流里藏了恶意构造的 __reduce__ 调用。线上服务若用 pickle.load() 解析用户上传的二进制数据,等于直接给攻击者开 shell 权限。

常见错误现象:AttributeError: Can't get attribute 'XXX' on <module '__main__'> —— 这往往是因为反序列化时模块路径变了,但更危险的是没报错、静默执行了恶意逻辑。

  • 永远不用 pickle.load()pickle.loads() 处理来源不明的数据
  • 内部服务间短生命周期通信(如 Celery 任务参数)可谨慎使用,但需确保 worker 和 producer 共享完全一致的代码版本
  • 替代方案优先选 json + 自定义编码器,或 msgpack(需禁用 ext types)

如何安全地序列化带方法/状态的自定义类

Python 默认不支持把实例方法、闭包、线程锁等序列化,pickle 能存,但依赖模块导入路径和类定义一致性;json 直接报 TypeError: Object of type XXX is not JSON serializable

实操建议:别试图序列化“行为”,只序列化“数据”。用 __getstate__ 显式控制哪些字段参与序列化:

立即学习Python免费学习笔记(深入)”;

class CacheEntry:
    def __init__(self, key, value, ttl=300):
        self.key = key
        self.value = value
        self.ttl = ttl
        self._created_at = time.time()  # 不保存
        self._lock = threading.Lock()    # 不保存
<pre class='brush:python;toolbar:false;'>def __getstate__(self):
    state = self.__dict__.copy()
    state.pop('_lock', None)
    state.pop('_created_at', None)
    return state

  • 避免在 __getstate__ 中返回可变对象引用(如 dict 的浅拷贝仍共享嵌套 list)
  • 若必须恢复复杂状态(如重连数据库连接),在 __setstate__ 中惰性重建,而非存连接对象本身
  • 测试时用 assert hasattr(obj, '_lock') 验证反序列化后是否缺失预期属性

json 序列化 datetime / bytes / Decimal 的兼容写法

json.dumps() 默认不认 datetimebytesDecimal,硬转会抛 TypeError。不能靠 default=str 一招鲜——str(datetime(2023,1,1))'2023-01-01 00:00:00',但反序列化时得靠业务逻辑再 parse,易出错。

一点PPT
一点PPT

一句话生成专业PPT,AI自动排版配图

下载

推荐用显式转换 + 统一协议:

  • datetime → ISO 格式字符串:dt.isoformat(),反序列化用 datetime.fromisoformat()(注意时区)
  • bytes → base64 编码:base64.b64encode(b'data').decode('ascii'),反序列化用 base64.b64decode(s)
  • Decimalfloatstr金融场景必须用 str(d),避免浮点精度丢失

封装成可复用的 encoder:

class SafeJSONEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime):
            return obj.isoformat()
        if isinstance(obj, bytes):
            return base64.b64encode(obj).decode('ascii')
        if isinstance(obj, Decimal):
            return str(obj)
        return super().default(obj)

性能敏感场景下 msgpackprotobuf 怎么选

msgpackjson 的二进制替代,无需预定义 schema,但不跨语言安全;protobuf 需先写 .proto 文件,生成代码,但体积小、解析快、天然支持多语言

选型关键点:

  • 纯 Python 内部通信(如 Redis 缓存)、且结构简单 → 用 msgpack.packb(obj, strict_types=True),开 strict_types 避免自动转 int/float
  • 要和 Go/Java 服务交互,或字段频繁增减 → 必须上 protobuf,用 optional 字段和 oneof 控制演进
  • 别用 msgpacknumpy.ndarray:默认会转成 list,巨慢;改用 msgpack_numpy 插件或直接 np.save 到 BytesIO

容易被忽略的是时间戳处理:msgpack 默认把 datetime 打包成带时区的 int(秒数),但 Python 客户端反解可能丢时区;protobuf 推荐用 google.protobuf.Timestamp,语义明确。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

457

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

549

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

337

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

595

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

108

2025.10.23

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号