0

0

python中常用的序列化模块_json、pickle、yaml、msgpack性能对比

煙雲

煙雲

发布时间:2026-02-02 20:23:02

|

443人浏览过

|

来源于php中文网

原创

json快但功能受限,仅支持str、int、float、bool、None、list、dict七种类型,遇datetime等会抛TypeError;实操中可用default参数转ISO字符串,避免深拷贝。

python中常用的序列化模块_json、pickle、yaml、msgpack性能对比

json.dumps/json.loads 为什么快但功能受限

json 是 Python 标准库中序列化速度最快、兼容性最广的模块,但只支持 strintfloatboolNonelistdict 这七种类型。遇到 datetimeset、自定义类实例时会直接抛出 TypeError: Object of type ... is not JSON serializable

实操建议:

立即学习Python免费学习笔记(深入)”;

  • default 参数配合 isinstance 手动转 datetime 为 ISO 字符串(注意时区)
  • 避免在 default 中做深拷贝或递归处理,否则性能断崖下跌
  • 生产环境高频小数据(如 API 响应)优先选 json,别为了“看起来高级”换其他模块

pickle.dumps/pickle.loads 的安全与兼容陷阱

pickle 能序列化几乎所有 Python 对象,包括函数、类实例、闭包,但它是 Python 特有协议,跨语言不可读;更关键的是,pickle.loads() 可执行任意代码 —— 任何来自不可信源的 pickle 数据都等同于远程代码执行漏洞。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 永远不在网络传输、用户上传、日志回放等场景用 pickle
  • 若必须本地持久化(如缓存中间计算结果),限定使用 protocol=4(Python 3.4+ 默认),它比 protocol=3 小 10–20%,且支持更多内置类型
  • __reduce__ 方法可被恶意利用,自定义类若需支持 pickle,务必检查其返回值是否可控

yaml.safe_dump/yaml.safe_load 为何又慢又重

PyYAMLsafe_load 看似安全,但实际解析器仍存在历史 CVE(如 CVE-2017-18342),且默认启用复杂解析逻辑(锚点、标签、自动类型推断),导致性能远低于 json。一个 100KB 的纯字典数据,yaml.safe_load 可能比 json.loads 慢 5–8 倍。

Midjourney
Midjourney

当前最火的AI绘图生成工具,可以根据文本提示生成华丽的视觉图片。

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 除非明确需要 YAML 特性(如注释、多文档、锚引用),否则别用 yaml 做通用序列化
  • 禁用自动类型转换:传入 Loader=yaml.CLoader(需编译安装 libyaml)和 yaml.load(..., Loader=yaml.CSafeLoader)
  • 配置文件yaml,运行时数据交换别碰它

msgpack.packb/msgpack.unpackb 的二进制优势与隐含成本

msgpack 是唯一在性能、体积、跨语言支持上全面优于 json 的选择:相同数据通常小 30–50%,序列化/反序列化快 2–4 倍。但它默认不保留 key 顺序(Python 3.7+ dict 有序,但 msgpack 不保证),且 datetime 需显式开启 datetime=True 参数,否则变成时间戳整数。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 安装时加 ujsonmsgpack 的 C 扩展:pip install msgpack --no-binary msgpack
  • 服务间通信、Redis 缓存、日志批量写入等场景,优先测 msgpack + use_bin_type=True
  • 不要依赖 msgpack.unpackb(data, raw=False) 自动转 bytesstr,Python 3 下易引发编码歧义

真正影响选型的往往不是“谁最快”,而是“谁在你的数据结构、部署环境、上下游约束下不出错”。比如用 msgpacknumpy.ndarray,得额外配 ext_hook;而 json 明知慢,却因浏览器直读、CDN 缓存友好,成了事实标准。选模块前,先跑一遍你的真实数据样本,用 timeit 测三轮,比看任何 benchmark 都管用。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

424

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

537

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

313

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

78

2025.09.10

pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

343

2023.10.09

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

418

2024.12.20

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

762

2024.12.23

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

352

2025.07.23

AO3官网入口与中文阅读设置 AO3网页版使用与访问
AO3官网入口与中文阅读设置 AO3网页版使用与访问

本专题围绕 Archive of Our Own(AO3)官网入口展开,系统整理 AO3 最新可用官网地址、网页版访问方式、正确打开链接的方法,并详细讲解 AO3 中文界面设置、阅读语言切换及基础使用流程,帮助用户稳定访问 AO3 官网,高效完成中文阅读与作品浏览。

89

2026.02.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号