遇到嵌套字典报RecursionError主因是循环引用而非层级深;应使用id()去重、栈模拟递归、生成器yield提取字段,并警惕object_hook性能陷阱及非内置dict类型兼容性问题。

遇到嵌套字典就报 RecursionError?先检查循环引用
Python 默认递归深度是 1000 层,但真正踩坑的往往不是层级深,而是字典里存在自引用(比如 a['parent'] = a)。这种结构会让递归函数无限绕圈,直到触发 RecursionError: maximum recursion depth exceeded。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 遍历前用
id()或is判断是否已处理过当前对象,避免重复进入同一字典实例 - 用集合(
set())缓存已访问的id(obj),而不是对象本身(避免不可哈希报错) - 如果明确不需要处理循环引用,加一层
try/except RecursionError并提前返回提示,比让程序崩掉更可控
想安全遍历任意嵌套 dict/list 混合结构?用栈模拟递归
递归写法简洁,但不控深度、难中断、不方便加日志或过滤。用显式栈(list)替代系统调用栈,既能避免爆栈,又能随时跳过特定键或值类型。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 把初始数据和路径(如
['data', 'items', 0, 'name'])打包成元组压栈 - 每次弹出一个项,检查类型:是
dict就遍历.items(),是list或tuple就用enumerate(),其他类型直接处理 - 对 key 名敏感时(比如跳过
'__meta'),在入栈前做判断,省得白跑一趟
示例关键片段:
stack = [(data, [])] # (当前对象, 当前路径)<br>while stack:<br> obj, path = stack.pop()<br> if isinstance(obj, dict):<br> for k, v in obj.items():<br> if k == '__meta': continue # 过滤<br> stack.append((v, path + [k]))
需要提取所有 value 中的某个字段(比如所有 'id')?别硬写递归,用生成器 yield
多数真实需求不是“打印所有键值”,而是“收集所有满足条件的值”。这时候递归函数返回列表容易吃内存,尤其 JSON 很大时;而生成器按需产出,配合 next() 或 itertools.islice 更灵活。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 函数用
yield而非return list,每找到一个匹配就产出,不攒全量 - 用
isinstance(obj, (dict, list))统一判断可迭代容器,别漏掉tuple或collections.abc.Mapping - 注意字符串也是
Sequence,但通常不该进递归——加elif isinstance(obj, str)提前 return 避免误拆
示例:
def find_values(obj, target_key):<br> if isinstance(obj, dict):<br> for k, v in obj.items():<br> if k == target_key:<br> yield v<br> yield from find_values(v, target_key)<br> elif isinstance(obj, list):<br> for item in obj:<br> yield from find_values(item, target_key)
JSON 字符串转 dict 后遍历慢?检查是否用了 json.loads(..., object_hook=...)
有些项目为了统一处理日期或 Decimal,会传 object_hook 参数给 json.loads(),但这个钩子会对**每个 dict 实例**都调用一次。如果钩子里做了复杂逻辑(比如正则匹配 key 名),性能会断崖下跌,尤其是千级嵌套时。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 优先用
object_pairs_hook替代object_hook,它只在解析 dict 时触发,且能拿到原始 key-value 对,避免二次遍历 - 如果只是想把所有数字转
Decimal,考虑用parse_float=Decimal这类专用参数,比通用 hook 快一个数量级 - 不确定瓶颈在哪?用
python -m cProfile your_script.py看object_hook占了多少 time
最常被忽略的是:你以为在遍历 dict,其实拿到的是 collections.OrderedDict 或第三方库封装的类 dict 对象,它们的 .items() 行为可能和内置 dict 不一致,甚至不支持 isinstance(x, dict)。动手前先 type(obj).__name__ 看一眼。










