0

0

Python requests 性能优化技巧

舞夢輝影

舞夢輝影

发布时间:2026-01-30 21:03:18

|

467人浏览过

|

来源于php中文网

原创

requests慢是因为默认不复用TCP连接、不缓存DNS、SSL握手开销大;优化需用Session复用连接、合理设置超时、按需关闭重定向和SSL验证。

python requests 性能优化技巧

requests 为什么慢?先看默认行为

requests 默认每次请求都新建 TCP 连接,不复用;DNS 解析也默认不缓存;SSL 握手开销在 HTTPS 场景下尤为明显。这些不是 bug,而是为简单性做的取舍。如果你批量调用同一域名的接口(比如爬取分页、轮询 API),requests.get() 直接写循环,大概率会卡在连接建立阶段。

用 Session 复用连接和 Cookie

requests.Session() 是最简单也最有效的优化起点。它自动复用底层 urllib3.PoolManager 的连接池,避免重复握手和 DNS 查询。同时能统一管理 headersauthcookies,减少重复传参。

实操建议:

  • 单次请求不用改;高频/批量请求必须提取出 Session 实例,复用整个生命周期
  • 显式设置连接池大小:例如 session = requests.Session(); adapter = requests.adapters.HTTPAdapter(pool_connections=10, pool_maxsize=20),再用 session.mount("https://", adapter)
  • 注意:Session 不是线程安全的,多线程中每个线程应持有独立实例,或加锁

禁用重定向和 SSL 验证(仅限可信环境)

重定向(allow_redirects=True 默认)会额外发起请求;SSL 验证(verify=True 默认)涉及证书链校验和 OCSP 查询,在内网或测试环境纯属冗余开销。

立即学习Python免费学习笔记(深入)”;

常见错误现象:requests.get("https://api.example.com") 卡住几秒才返回,但 curl -k 瞬间响应 —— 很可能就是 SSL 验证拖慢了。

XAnswer
XAnswer

XAnswer是一款可以生成思维导图的AI搜索工具,聚合全网优质信息源,结合LLM能力和RAG技术, 为用户提供实时性的搜索结果、个性化的答案呈现。

下载

使用场景与风险提示:

  • 内网服务、本地开发、Docker 容器间调用:可安全设 verify=False(记得加 requests.packages.urllib3.disable_warnings() 抑制警告)
  • 跳转逻辑明确且可控时,设 allow_redirects=False,自己处理 response.status_code == 302response.headers["Location"]
  • 生产环境绝不关闭 verify,除非你自建 CA 并配置 verify="/path/to/cert.pem"

超时必须设,且要拆分成 connect + read

不设超时的 requests 调用,在网络抖动或服务假死时会无限阻塞主线程。更糟的是,只设一个 timeout=5 无法区分是连不上,还是连上了但迟迟不发数据。

性能影响很直接:没设 connect 超时,DNS 失败或目标端口未监听可能卡 60+ 秒;没设 read 超时,对方写一半就挂起,你永远等不到 EOF。

正确姿势:

  • 始终使用元组形式: requests.get(url, timeout=(3.0, 8.0)),前者是连接超时,后者是读取超时
  • 连接超时建议 ≤ 3s(DNS + TCP handshake);读取超时按业务容忍度设,一般 5–15s
  • 不要依赖 timeout 做逻辑兜底,它只抛 requests.exceptions.Timeout,不解决重试问题

真正影响吞吐量的,往往不是单次请求快 10ms,而是连接复用是否到位、超时是否合理、以及你有没有把阻塞操作(比如日志写入、JSON 解析)塞进请求循环里。这些细节不显眼,但一不留神就会让并发能力掉一个数量级。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

420

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

536

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

311

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

77

2025.09.10

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6429

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

347

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

414

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

93

2025.08.19

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

14

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号