0

0

requests 如何实现带 jitter 的 exponential backoff 重试

舞夢輝影

舞夢輝影

发布时间:2026-01-29 15:20:02

|

977人浏览过

|

来源于php中文网

原创

requests默认不支持jitter,需继承urllib3.Retry并重写get_backoff_time()方法添加随机扰动,推荐使用JitterRetry子类配合HTTPAdapter配置allowed_methods和status_forcelist。

requests 如何实现带 jitter 的 exponential backoff 重试

requests 默认不支持 jitter,必须手动组合 retry 机制

requests 库本身只提供 urllib3.Retry 基础重试能力,它支持指数退避(exponential backoff),但不内置 jitter(随机扰动)。jitter 的作用是避免大量客户端在同一时刻重试导致服务雪崩,必须自己加随机偏移。

常见错误是直接用 urllib3.Retry(backoff_factor=1) 就以为带 jitter 了——其实它只按 min(120, base * 2^retry_count) 算固定等待时间,没任何随机性。

  • backoff_factor 是基数,不是 jitter 因子;jitter 需额外计算
  • 必须继承或封装 urllib3.Retry,重写 get_backoff_time() 方法
  • 推荐用 random.uniform(0, 1) 生成 [0,1) 区间随机数,乘到指数结果上

自定义 Retry 类:覆盖 get_backoff_time() 加 jitter

最稳妥的方式是子类化 urllib3.Retry,在 get_backoff_time() 中插入 jitter 逻辑。注意原方法返回的是秒数(float),你只需在它算出的 base time 上乘一个随机系数。

import random
import urllib3

class JitterRetry(urllib3.Retry): def init(self, jitter_ratio=0.5, *args, *kwargs): super().init(args, **kwargs) self.jitter_ratio = jitter_ratio # 控制抖动幅度,0.0~1.0

def get_backoff_time(self):
    base = super().get_backoff_time()
    if base == 0:
        return 0
    # jitter: base * (1 - ratio + ratio * random)
    # 例如 ratio=0.5 → 在 [0.5*base, 1.0*base] 区间均匀随机
    return base * (1 - self.jitter_ratio + self.jitter_ratio * random.random())

这个实现比简单 random.uniform(0, base) 更合理:保留最小退避底线,避免过早重试压垮服务。

配合 requests.Session 使用时的配置要点

把自定义 JitterRetry 实例传给 requests.adapters.HTTPAdapter,再挂载到 Session。别漏掉 allowed_methodsstatus_forcelist —— 否则 5xx 或连接失败可能不触发重试。

笔头写作
笔头写作

AI为论文写作赋能,协助你从0到1。

下载
  • 务必显式设置 allowed_methods(如 ["HEAD", "GET", "POST", "PUT", "DELETE"]),否则默认只重试幂等方法
  • status_forcelist=[429, 500, 502, 503, 504] 才能让服务端限流/错误也进重试流程
  • total 是总重试次数(含首次请求),raise_on_status=False 避免自动抛异常打断流程

示例:

import requests

session = requests.Session() retry = JitterRetry( total=3, backoff_factor=1, jitter_ratio=0.3, allowed_methods=["GET", "POST"], status_forcelist=[429, 500, 502, 503, 504], ) adapter = requests.adapters.HTTPAdapter(max_retries=retry) session.mount("http://", adapter) session.mount("https://", adapter)

response = session.get("https://www.php.cn/link/85c19375f0c12c6793bf66b4e2666dc4")

为什么不用第三方库(如 tenacity)?

tenacity 等通用重试库能轻松加 jitter,但它在 requests 场景下会绕过 urllib3 的连接池、超时、重定向等底层控制,容易引发连接泄漏或 timeout 行为不一致。尤其在高并发长连接场景下,直接 patch urllib3 更可控。

如果你已用 tenacity,必须确保每次重试都新建 requests.Request 并交由 session.send() 处理,不能复用 response 对象或 session 状态;否则 jitter 可能掩盖真正的连接问题。

真正难的不是加随机数,而是让 jitter 不破坏退避下限、不干扰连接池复用、不和 timeout 逻辑冲突——这些细节都在 urllib3 的 retry 流程里埋着。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

579

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

102

2025.10.23

session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

315

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

751

2023.10.18

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

93

2025.08.19

数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

275

2023.11.13

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

213

2023.12.29

java入门学习合集
java入门学习合集

本专题整合了java入门学习指南、初学者项目实战、入门到精通等等内容,阅读专题下面的文章了解更多详细学习方法。

1

2026.01.29

java配置环境变量教程合集
java配置环境变量教程合集

本专题整合了java配置环境变量设置、步骤、安装jdk、避免冲突等等相关内容,阅读专题下面的文章了解更多详细操作。

2

2026.01.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Laravel 5.8 中文文档手册
Laravel 5.8 中文文档手册

共74课时 | 88.3万人学习

SESSION实现登录与验证
SESSION实现登录与验证

共10课时 | 9.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号