0

0

Python 重试机制导致的雪崩问题

冰川箭仙

冰川箭仙

发布时间:2026-02-13 23:02:02

|

421人浏览过

|

来源于php中文网

原创

必须加指数退避和随机抖动,避免重试风暴;异步场景用 asyncio.sleep() 而非 time.sleep();优先选 tenacity 替代 retrying;重试需配熔断、结构化日志与成功率监控。

python 重试机制导致的雪崩问题

重试逻辑没加退避,请求直接打满下游

Python 里用 requestsaiohttp 自己写重试,最容易犯的错就是重试间隔为 0 —— 第一次失败立刻重试,三次重试全挤在 100ms 内发出去。下游服务本来卡在 99% CPU,你再叠个 3× 并发,它直接 503,然后你的重试又触发,形成正向反馈循环。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 必须用指数退避(exponential backoff),比如第一次等 0.1s、第二次 0.2s、第三次 0.4s,上限设成 2s 就够用
  • 加随机抖动(jitter),避免所有客户端在同一时刻重试,time.sleep(base * (2 ** attempt) + random.uniform(0, 0.1))
  • 别用 time.sleep() 硬等阻塞线程,异步场景下改用 asyncio.sleep(),否则整个 event loop 被拖住

retrying 库默认不控制并发,多个请求同时触发重试风暴

retrying 这个老库(虽已停更)还在不少项目里跑着,它只管单个函数重试,完全不管调用上下文。如果上游是高并发服务(比如 FastAPI 每秒接 500 请求),每个请求都独立走一遍重试逻辑,那下游看到的就是 500 × 3 = 1500 QPS 的脉冲流量。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 换成 tenacity,它支持 wait_exponential() + stop_after_attempt(3) 组合,语义清晰且默认不共享状态
  • 如果必须用 retrying,手动加全局限流器(比如 threading.Semaphore(5)),但注意这会串行化重试,得权衡延迟和压垮风险
  • 检查重试装饰器是否作用在了最外层视图函数上——应该只包核心 I/O 函数,比如 fetch_user_data(),而不是整个 get_user() HTTP handler

异步重试中未 cancel 已超时的 pending 请求

asyncio.wait_for() 包一层重试逻辑,但没在 timeout 后主动 cancel 掉底层 task,结果是:请求已超时返回 504,但那个 await requests.get(...) 还在后台默默跑着,可能 2 秒后才真正失败,继续触发下一轮重试。

FineVoice
FineVoice

FineVoice是一种AI数字语音解决方案,可以帮助用户增强声音,并配有实时变声器

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 每次重试前生成新 asyncio.Task,并在超时或成功后显式 task.cancel()
  • asyncio.create_task() + asyncio.shield() 控制取消边界,避免取消传播到不该中断的子协程
  • 日志里加 trace_id 和 attempt_id,方便确认“这个 504 对应的底层请求到底有没有被 cancel”

重试掩盖了真正的稳定性短板

重试不是容错,是兜底。如果某个接口平均失败率从 0.1% 突然涨到 5%,重试机制会让业务层感知不到——用户照样能用,但下游数据库连接池早被打爆了,监控里只看到慢查询和连接拒绝。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 重试必须配熔断(circuit breaker),比如用 tenacitycircuit_breaker,连续 5 次失败就开路 30 秒,强制降级或报错
  • 所有重试行为必须打结构化日志:retry_attempt=2, original_error="ConnectionResetError", upstream="payment-api"
  • 把重试成功率单独做成指标(比如 retry_success_rate{service="order"} ),低于 95% 就告警——说明重试本身正在失效

重试配置不是写一次就完事的事。下游接口变更、网络拓扑调整、甚至 DNS 缓存时间变化,都会让原来安全的重试策略变成雪崩开关。上线后盯三天 metrics,比看十遍代码有用。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

27

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

156

2026.02.06

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1440

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

340

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2210

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

36

2026.01.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

673

2023.08.10

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

371

2023.06.29

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

23

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号