0

0

为什么 @lru_cache 会导致深度递归栈溢出,而手动 DP 数组不会?

碧海醫心

碧海醫心

发布时间:2026-02-07 16:19:54

|

749人浏览过

|

来源于php中文网

原创

为什么 @lru_cache 会导致深度递归栈溢出,而手动 DP 数组不会?

python 中 `@lru_cache` 的底层 c 实现会额外消耗 c 空间,导致即使设置极高 `recursionlimit` 仍触发系统级栈溢出;而纯 python 递归(如手动 dp)在 python 3.11+ 已通过内联调用优化,几乎不占用 c 栈,因此能安全处理数十万层递归。

在解决树形动态规划问题(例如 CSES “Subordinates”)时,你可能会自然地写出带记忆化的递归 DFS,并尝试用 @lru_cache(None) 加速。但当树退化为一条链(即最坏情况:200,000 层深度),程序却意外崩溃:

Process finished with exit code -1073741571 (0xC00000FD)

这是 Windows 下典型的 C 栈溢出(stack overflow 错误 —— 并非 Python 的 RecursionError,而是操作系统强制终止进程。关键原因在于:@lru_cache 是用 C 实现的(见 CPython 源码),每次缓存命中或未命中都会引入一层 C 函数调用帧。你的 dfs(v) 调用 → lru_cache_wrapper → dfs(v) 的递归链,实际是 Python + C 混合递归,C 栈深度随递归线性增长。

相比之下,手动 DP 版本:

dp = [0] * n
def dfs(v):
    for u in graph[v]:
        dfs(u)
        dp[v] += dp[u] + 1

仅涉及纯 Python 函数调用。自 Python 3.11 起,解释器引入了 内联 Python 调用(inlined Python function calls) 优化:当一个 Python 函数直接调用另一个 Python 函数时,不再经过 C 层的通用调用机制(_PyEval_EvalFrameDefault),从而几乎不消耗 C 栈空间。这意味着:即使递归 200,000 层,C 栈深度可能仅维持在个位数,完全避开系统栈限制。

✅ 验证:将 n = 2_000_000(10 倍规模)传入手动 DP 版本,在主流环境下仍稳定运行;而 @lru_cache 版本在 n > ~10_000 时就极可能崩溃(取决于系统默认 C 栈大小,通常仅 1–8 MB,对应数千至数万 C 帧)。

Python 3.12 的行为变化

Python 3.12 进一步明确了这一边界:sys.setrecursionlimit() 仅约束 Python 字节码层面的递归深度,不再影响 C 扩展的递归。因此:

  • @lru_cache 版本在 3.12 中会抛出清晰的 RecursionError(而非崩溃),因为 C 层递归被内部机制主动截断;
  • 手动 DP 版本依然畅通无阻,得益于内联优化。

解决方案与最佳实践

✅ 推荐:避免在超深递归中使用 @lru_cache

对树形 DP 等可能深度递归的场景,优先采用显式状态数组(如 dp[])或迭代 DFS/BFS:

法语写作助手
法语写作助手

法语助手旗下的AI智能写作平台,支持语法、拼写自动纠错,一键改写、润色你的法语作文。

下载
# 迭代版(拓扑序 + 自底向上)
from collections import deque
order = []
stack = [0]
while stack:
    v = stack.pop()
    order.append(v)
    for u in graph[v]:
        stack.append(u)
# 反向更新 dp
dp = [0] * n
for v in reversed(order):
    for u in graph[v]:
        dp[v] += dp[u] + 1

⚠️ 替代方案(仅用于学习/调试)

若坚持用记忆化,可替换为纯 Python 实现的简易缓存(无 C 开销):

def simple_cache(_):
    def decorator(func):
        memo = {}
        def wrapper(x):
            if x not in memo:
                memo[x] = func(x)
            return memo[x]
        return wrapper
    return decorator

@simple_cache(None)
def dfs(v):
    # ... same logic

? 注意:此实现不支持多参数、kwargs 或复杂键类型,仅作原理演示。生产环境请优先用显式 DP 或迭代。

? 不推荐的“黑科技”

虽然可通过 del _functools._lru_cache_wrapper 强制回退到 Python 版 lru_cache,或修改标准库源码,但这类 hack 破坏可移植性与可维护性,且可能引发兼容性问题,应严格避免。

总结

方案 递归类型 C 栈消耗 Python 3.11 行为 Python 3.12 行为
@lru_cache Python + C 混合 高(线性增长) 系统级栈溢出(崩溃) RecursionError(受保护)
手动 dp[] 纯 Python 极低(内联优化) 稳定运行 稳定运行
迭代 DP 无递归 最安全 最安全

根本原则:对可预见的超深递归(>10⁴ 层),放弃装饰器记忆化,拥抱显式状态管理或迭代算法。 这不仅是 Python 的工程实践,更是理解解释器底层行为的关键一课。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

403

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

582

2023.08.10

function是什么
function是什么

function是函数的意思,是一段具有特定功能的可重复使用的代码块,是程序的基本组成单元之一,可以接受输入参数,执行特定的操作,并返回结果。本专题为大家提供function是什么的相关的文章、下载、课程内容,供大家免费下载体验。

489

2023.08.04

js函数function用法
js函数function用法

js函数function用法有:1、声明函数;2、调用函数;3、函数参数;4、函数返回值;5、匿名函数;6、函数作为参数;7、函数作用域;8、递归函数。本专题提供js函数function用法的相关文章内容,大家可以免费阅读。

165

2023.10.07

overflow什么意思
overflow什么意思

overflow是一个用于控制元素溢出内容的属性,当元素的内容超出其指定的尺寸时,overflow属性可以决定如何处理这些溢出的内容。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1784

2024.08.15

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

954

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1139

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

815

2023.08.01

Golang处理数据库错误教程合集
Golang处理数据库错误教程合集

本专题整合了Golang数据库错误处理方法、技巧、管理策略相关内容,阅读专题下面的文章了解更多详细内容。

2

2026.02.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号