0

0

Python aiohttp 异步请求的实践指南

冰川箭仙

冰川箭仙

发布时间:2026-01-30 16:15:13

|

591人浏览过

|

来源于php中文网

原创

aiohttp.ClientSession 必须复用,因新建会重复初始化连接池、SSL 上下文并绑定事件循环,导致开销大、RuntimeError、连接泄漏及文件描述符耗尽;应全局单例创建,用 async with 包裹单次请求。

python aiohttp 异步请求的实践指南

为什么 aiohttp.ClientSession 必须复用,不能每次请求都新建

因为新建 ClientSession 会重新初始化连接池、SSL 上下文和事件循环绑定,不仅开销大,还会导致 RuntimeError: Session is closed 或连接泄漏。尤其在高并发场景下,频繁创建销毁 session 容易触发文件描述符耗尽(OSError: [Errno 24] Too many open files)。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 全局或作用域内只创建一次 ClientSession,用 async with 仅包裹单次请求逻辑,不是整个 session 生命周期
  • 若需定制超时或 headers,统一在 session 初始化时传入 timeoutheaders 参数,而非每个 session.get() 都重复指定
  • 在 Web 应用(如 FastAPI)中,通过 lifespan hook 或依赖注入管理 session 生命周期,避免在路由函数里现场 new

aiohttp 中如何正确处理 JSON 响应和编码问题

直接调用 response.json() 看似方便,但默认不校验 Content-Type,且对非 UTF-8 编码(如 GBK、ISO-8859-1)会抛 UnicodeDecodeError。更隐蔽的问题是:某些 API 返回 text/plain 但内容实为 JSON 字符串,此时 .json() 会静默失败或解析出错。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 优先用 await response.text(encoding="utf-8") 拿原始字符串,再用 json.loads() 显式解析,便于捕获和调试格式错误
  • 若响应头含 charset=gbk,必须显式传 encoding:await response.text(encoding="gbk"),不能依赖自动探测
  • 对不确定 content-type 的接口,先打印 response.content_typeresponse.charset 调试,再决定解析路径

并发请求控制:用 asyncio.Semaphore 还是 aiohttp.TCPConnectorlimit

两者都管并发,但作用层级不同:TCPConnector(limit=10) 控制的是底层 TCP 连接数上限,影响复用和端口占用;Semaphore 控制的是协程并发数,影响任务调度节奏。混用时若配置冲突(比如 semaphore=5 但 connector.limit=100),实际并发仍受更严的那个限制。

AIPAI
AIPAI

AI视频创作智能体

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 优先用 TCPConnector(limit=20, limit_per_host=5) —— 它能真正防止对单个 host 建连风暴,比纯协程限流更贴近网络层实际压力
  • 需要业务级节流(如每秒最多调 3 次某 API)时,才叠加 Semaphore,且注意把它定义在 session 外部,避免每次请求都 new 一个新实例
  • 不要设 limit=0(无限制),Linux 默认单进程最大 socket 数约 1024,超出会报 OSError: [Errno 24]

异常捕获必须覆盖的三个关键点

aiohttp 的异常分散在多个层级:DNS 解析失败(aiohttp.ClientConnectorError)、连接超时(asyncio.TimeoutError)、HTTP 状态码非 2xx(response.raise_for_status()aiohttp.ClientResponseError)。漏掉任意一类,都会让程序意外中断。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 外层用 try/except (aiohttp.ClientError, asyncio.TimeoutError) as e: 捕获网络层异常
  • 内层对每个 response 显式调用 response.raise_for_status(),否则 404、502 等状态码不会抛异常,容易误判为成功
  • 记录异常时务必包含 str(e)response.url if "response" in locals() else None,否则排查时不知道失败发生在哪个 URL
实际项目里最常被忽略的是 connector 复用和 charset 显式声明——前者导致压测时连接数飙升,后者让中文字段突然变成乱码且难以复现。这两处不改,其他优化意义不大。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

420

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

536

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

311

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

77

2025.09.10

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

27

2025.12.22

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

779

2023.08.22

session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

316

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

752

2023.10.18

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

8

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 8.1万人学习

Git 教程
Git 教程

共21课时 | 3.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号