0

0

python序列化数据_选择合适格式保存字典、列表、对象实例方案

畫卷琴夢

畫卷琴夢

发布时间:2026-02-02 21:00:57

|

128人浏览过

|

来源于php中文网

原创

最省事的是pickle,但仅限同版本Python可信环境;跨语言或配置用json(需处理特有类型);大体积数据选msgpack;复杂函数用cloudpickle。

python序列化数据_选择合适格式保存字典、列表、对象实例方案

pickle 保存 Python 原生对象最省事,但别跨语言或跨版本读

pickle 是 Python 自带的序列化模块,能直接存 dictlist、自定义类实例(只要没含不可序列化属性,比如文件句柄、lambda 函数)。它速度快、保留类型和引用关系,适合纯 Python 环境下的临时缓存或进程间传递。

常见错误是把 pickle 文件发给其他语言程序读,或者用 Python 3.8 的 pickle 协议保存后,在 Python 3.6 上加载失败——协议版本不兼容会直接报 ValueError: unsupported pickle protocol

实操建议:

Catimind
Catimind

专为行业应用打造的AI生产力工具

下载
  • 只在可信的 Python 环境内使用,不用于网络传输或用户输入场景(反序列化任意 pickle 数据有远程代码执行风险)
  • 显式指定协议版本,例如 pickle.dump(obj, f, protocol=pickle.HIGHEST_PROTOCOL),避免默认用低版本协议限制功能
  • 若对象含 __slots____getstate__ 等定制逻辑,需确认其行为符合预期,否则可能漏字段

存配置或跨语言数据优先选 json,但得先处理 Python 特有类型

json 格式通用、可读性强、几乎所有语言都支持,适合保存配置、API 响应、前端交互数据。但它只认基本类型:dictliststrintfloatboolNone。遇到 datetimeset、自定义类实例就会报 TypeError: Object of type X is not JSON serializable

立即学习Python免费学习笔记(深入)”;

实操建议:

  • default 参数自定义转换逻辑,例如把 datetime 转成 ISO 字符串:json.dump(obj, f, default=lambda x: x.isoformat() if hasattr(x, 'isoformat') else str(x))
  • 避免在 default 里做复杂判断或递归处理,容易掩盖真实类型错误;更稳妥的做法是提前把对象“扁平化”为 JSON 友好结构
  • 注意 json 不保留顺序(Python 3.7+ dict 有序,但 JSON 规范本身不保证),也不区分 tuplelist(都转成数组)

需要压缩或大体积数据时,msgpackjson 更紧凑且快

msgpack 是二进制格式,体积通常比 JSON 小 30%–50%,解析速度也更快,同时支持更多原生类型(如 bytesdatetime,需开启 strict_map_key=False 或用 ext 类型扩展)。它不像 pickle 那样危险,但 Python 外的支持程度不如 JSON(比如某些嵌入式环境或旧版 JS 库可能没 msgpack 解析器)。

实操建议:

  • 安装后直接用:import msgpack; msgpack.pack(obj, f),读取用 msgpack.unpack(f)
  • 如果数据含 numpy 数组,msgpack 默认不支持,得配合 msgpack-numpy 扩展,否则会报 TypeError: can't serialize
  • 写入时加 use_bin_type=True,否则 Python 3 下 bytes 可能被当 str 处理,导致读取错乱

保存带方法或状态的类实例,cloudpicklepickle 更可靠

标准 pickle 对定义在交互式环境(如 Jupyter、IPython)或局部作用域里的函数/类会失败,报 AttributeError: Can't pickle local objectcloudpickle 专门解决这个问题,能把 lambda、闭包、动态生成的类等一并序列化。

实操建议:

  • 安装后替换导入:import cloudpickle as pickle,其余用法和标准 pickle 一致
  • 它仍不能序列化 C 扩展对象(如某些 sqlite3.Connection)、打开的文件、线程锁等资源型对象,这类必须手动清理或替换为可序列化的占位符
  • 跨机器加载时,确保目标环境有完全相同的依赖版本,否则反序列化可能因找不到模块路径而失败

真正麻烦的不是选哪种格式,而是混用时没统一处理边界:比如用 json 存时间却忘了转字符串,或用 pickle 传对象到另一台机器却发现 Python 版本差了一点点。这些细节不显眼,但出问题时往往卡半天。

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

424

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

537

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

313

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

78

2025.09.10

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

580

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

103

2025.10.23

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

786

2023.08.22

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

361

2023.08.03

AO3官网入口与中文阅读设置 AO3网页版使用与访问
AO3官网入口与中文阅读设置 AO3网页版使用与访问

本专题围绕 Archive of Our Own(AO3)官网入口展开,系统整理 AO3 最新可用官网地址、网页版访问方式、正确打开链接的方法,并详细讲解 AO3 中文界面设置、阅读语言切换及基础使用流程,帮助用户稳定访问 AO3 官网,高效完成中文阅读与作品浏览。

89

2026.02.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号