Python序列化本质是对象到字节流的保真映射,依赖__reduce__等钩子生成指令流;pickle支持复杂类型但仅限Python环境,json跨语言但类型受限;反序列化不可信pickle存在远程代码执行风险。

Python序列化本质是对象到字节流的映射规则
Python本身不直接“存储对象”,而是把内存中的对象结构(类型、属性、引用关系)按约定规则转成一串可保存或传输的bytes。核心不是压缩或加密,而是**保真还原**:反序列化后得到的对象行为和原对象一致(除部分不可序列化对象外)。这依赖于每个类型注册的__reduce__或__getstate__等钩子函数,pickle模块据此生成操作指令流(如“新建一个dict”“往第0个位置塞key='a'”“调用datetime.datetime构造器”)。
常见误区是认为序列化=转成JSON。其实json只支持有限类型(dict、list、str、int、float、bool、None),而pickle能处理lambda、类实例、文件句柄(虽不推荐)、自定义__slots__类等——代价是只能在Python环境间安全使用。
选pickle还是json取决于数据用途和信任边界
跨语言传输(如Python服务给JS前端发数据)必须用json;内部微服务间状态同步、任务队列参数传递、缓存计算结果,则优先用pickle(尤其v5协议支持共享内存和大对象零拷贝)。
-
json.dumps(obj)失败时会报TypeError: Object of type X is not JSON serializable,需手动实现default参数或继承json.JSONEncoder -
pickle.dumps(obj)遇到文件对象、线程锁、数据库连接等会抛AttributeError或TypeError,因为这些对象无法脱离当前进程存活 -
pickle协议版本差异大:v0-v2不支持新语法(如带__slots__的类);v4起支持bytearray;v5新增out_of_band数据分离机制,适合大数据集
自定义类序列化要显式控制状态边界
默认情况下pickle会尝试保存整个__dict__,但很多字段不该持久化(如临时缓存、外部连接、GUI句柄)。正确做法是实现__getstate__和__setstate__:
立即学习“Python免费学习笔记(深入)”;
class CacheManager:
def __init__(self):
self.data = {}
self._cache = {} # 不该被序列化
self._lock = threading.Lock() # 不可序列化
def __getstate__(self):
state = self.__dict__.copy()
state.pop('_cache', None)
state.pop('_lock', None)
return state
def __setstate__(self, state):
self.__dict__.update(state)
self._cache = {}
self._lock = threading.Lock()
注意:__slots__类必须在__getstate__中显式构造字典,否则pickle可能因找不到__dict__而失败;若类有C扩展属性(如NumPy数组),通常无需干预——它们已内置序列化逻辑。
反序列化是执行风险点,永远别加载不可信来源的pickle数据
pickle流本质是Python字节码指令,pickle.loads()会执行其中的类构造、方法调用甚至os.system()。攻击者可构造恶意流触发任意代码执行。生产环境必须遵守:
- 仅从可信路径加载
.pkl文件(如本地配置目录,且文件权限为600) - 网络传输场景改用
json或msgpack(需确认其反序列化不执行代码) - 万不得已需用
pickle时,用RestrictedUnpickler白名单机制限制可实例化的类
真正难处理的是“半可信”场景:比如用户上传的分析脚本附带预训练模型(.pkl)。此时不能只靠文件后缀判断,得结合签名验证+沙箱执行+资源限额——序列化本身不提供安全隔离,它只是数据载体。











