0

0

Python 序列化协议的性能与兼容性对比

冷炫風刃

冷炫風刃

发布时间:2026-02-15 15:40:36

|

107人浏览过

|

来源于php中文网

原创

纯数据场景下msgpack最快,比pickle快1.5–3倍;pickle唯一支持带方法的类实例;protobuf跨语言稳定但需预定义schema;json仅适用于web api和配置文件。

python 序列化协议的性能与兼容性对比

Python 里 picklejsonmsgpackprotobuf 谁更快?

纯数据场景下,msgpack 通常比 pickle 快 1.5–3 倍,序列化小对象时甚至接近 json 的 2 倍;但如果你存的是带方法的类实例,只有 pickle 能直接搞定。protobuf 启动慢(要先编译 .proto)、序列化单个对象不占优,但在跨语言+高频通信场景里,它的体积和解析稳定性碾压其他三个。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • json:只用于 Web API 或配置文件——它不支持 bytes、datetime、NaN,遇到就报 TypeError: Object of type bytes is not JSON serializable
  • pickle:别用 protocol=0(ASCII 模式),默认的 protocol=4(Python 3.8+ 是 5)快且紧凑;但永远别反序列化不可信来源的数据,会执行任意代码
  • msgpack:加 use_bin_type=True 才能正确 round-trip bytes,否则自动转成 str;默认不支持 datetime,得手动注册 ext hook
  • protobuf:不是“拿来就能用”的序列化库,必须定义 schema、生成 Python 类,适合长期演进的接口,不适合 ad-hoc 数据临时传

pickle 兼容性差在哪?为什么跨 Python 版本容易炸?

pickle 协议本身不向后兼容:Python 3.8 默认用 protocol=5,而 3.7 只认到 4,直接 load() 就抛 ValueError: unsupported pickle protocol: 5。更隐蔽的是,同一协议下,如果类定义变了(比如删了字段、改了 __init__ 签名),load() 会静默失败或构造出半初始化对象。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 显式指定协议版本:写入时用 pickle.dump(obj, f, protocol=4),确保 3.7+ 都能读
  • 避免直接序列化嵌套太深的自定义类;优先把数据抽成 dictdataclass + asdict() 再 pickle
  • 如果必须跨版本传输,用 cloudpickle 替代原生 pickle——它能捕获更多上下文,但体积更大、启动更慢

JSON 序列化 datetime 或 bytes 为啥总报错?怎么绕过?

json.dumps() 默认只认 strintfloatlistdictboolNone 这七种类型。传 datetime.now() 就是 TypeError: Object of type datetime is not JSON serializable;传 b'hello' 也一样。

eMart 网店系统
eMart 网店系统

功能列表:底层程序与前台页面分离的效果,对页面的修改无需改动任何程序代码。完善的标签系统,支持自定义标签,公用标签,快捷标签,动态标签,静态标签等等,支持标签内的vbs语法,原则上运用这些标签可以制作出任何想要的页面效果。兼容原来的栏目系统,可以很方便的插入一个栏目或者一个栏目组到页面的任何位置。底层模版解析程序具有非常高的效率,稳定性和容错性,即使模版中有错误的标签也不会影响页面的显示。所有的标

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • default 参数接管未知类型:json.dumps(obj, default=str) 最省事,但会把 datetime 变成 ISO 字符串、bytes 变成 b'xxx' 的 repr,接收方得自己 parse
  • 更可控的做法是写专用 encoder:class DateTimeEncoder(json.JSONEncoder): def default(self, o): return o.isoformat() if isinstance(o, datetime) else super().default(o)
  • bytes 类型别硬塞进 JSON;真要传二进制,先 base64.b64encode(x).decode(),再放 dict 里当字符串字段

msgpack 比 pickle 小但为啥有时反而更慢?

msgpack 二进制体积通常比 pickle 小 10–20%,尤其对大量数字或短字符串;但它的 Python 实现(msgpack-python)在处理含大量小 list/dict 的嵌套结构时,C 扩展调用开销明显,反而比纯 C 实现的 pickle 慢。另外,如果开了 strict_types=True 或用了 ext hook,性能折损更大。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 测速前先确认用的是 msgpack.packb(..., use_bin_type=True),否则 bytes 会被当成 str 编码,后续解析出错
  • 避免在循环里反复调用 msgpack.packb();批量数据优先用 msgpack.Packer() 实例复用 buffer
  • 如果数据里有大量重复 key(比如日志列表),开 use_bin_type=True + strict_types=True 反而增加 CPU 开销,不如关掉

真正难搞的不是选哪个协议,而是当服务从单机变分布式、从 Python 2 升到 3、从内部 RPC 拓展到外部 API 时,序列化格式的边界突然变得模糊——这时候协议不再是性能数字,而是契约。一个 datetime 字段要不要带 tzinfo,None 算不算合法值,float('inf') 怎么传,这些细节往往拖垮整个迁移节奏。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

390

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

245

2023.10.07

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

440

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

318

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

589

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

105

2025.10.23

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

76

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

相关下载

更多

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号