在使用 aiohttp 发送大量 HTTP POST 请求时，特别是当每个请求的数据量较大时，可能会遇到 EventLoop 阻塞的问题，导致请求发送延迟增加，影响 API 的响应速度。本文将介绍如何通过优化 JSON 序列化和 DNS 解析来解决这个问题。
优化 JSON 序列化
当使用 aiohttp 的 json 参数发送 JSON 数据时，aiohttp 会自动进行 JSON 序列化。对于小量数据，这个过程通常很快。但是，当数据量较大时（例如，每个请求 5MB），JSON 序列化可能会耗费较长时间（例如，30-40 毫秒），并阻塞 EventLoop。
为了避免阻塞，可以预先手动序列化 JSON 数据，然后使用 data 参数发送请求。以下是一个示例：
import asyncio
import json
import aiohttp
async def send_request(session, url, obj):
"""
发送 HTTP POST 请求，并手动序列化 JSON 数据。
"""
def prepare_data(obj) -> bytes:
"""
在独立的线程中序列化 JSON 数据，避免阻塞 EventLoop。
"""
return json.dumps(obj).encode()
# 使用 asyncio.to_thread 在独立的线程中执行序列化操作
data = await asyncio.to_thread(prepare_data, obj)
async with session.post(url, data=data, headers={"Content-Type": "application/json"}) as resp:
return await resp.text()
async def main():
"""
主函数，用于测试发送请求。
"""
url = "https://example.com/api" # 替换为你的 API 地址
data_to_send = {"key": "value", "data": "some large data"} # 替换为你的数据
async with aiohttp.ClientSession() as session:
response = await send_request(session, url, data_to_send)
print(response)
if __name__ == "__main__":
asyncio.run(main())代码解释:
- prepare_data(obj) 函数: 这个函数负责将 Python 对象序列化为 JSON 字符串，然后编码为 bytes。关键在于，这个函数会在独立的线程中运行，以避免阻塞 EventLoop。
- asyncio.to_thread(prepare_data, obj): asyncio.to_thread 函数用于在独立的线程中运行 prepare_data 函数，并将结果返回给异步代码。
- session.post(url, data=data, headers={"Content-Type": "application/json"}): 使用 data 参数发送预先序列化的数据，并设置 Content-Type 为 application/json。
注意事项:
- 确保在序列化期间 obj 不会被修改。如果 obj 是可变对象，请考虑使用不可变对象，例如 tuple 或 frozenset。
- 使用 asyncio.to_thread 将序列化操作放到单独的线程中，避免阻塞 EventLoop。
加速 DNS 解析
aiohttp 在建立连接时需要进行 DNS 解析，如果 DNS 解析速度较慢，也会影响 API 的响应速度。可以通过以下两种方式加速 DNS 解析：
-
安装 aiohttp[speedups]: aiohttp[speedups] 包含 aiodns，这是一个异步 DNS 解析库，可以显著提高 DNS 解析速度。
pip install aiohttp[speedups]
-
直接使用 IP 地址: 如果知道服务器的 IP 地址，可以直接使用 IP 地址代替域名，从而完全跳过 DNS 解析。
async with aiohttp.ClientSession() as session: async with session.get("http://127.0.0.1:8000") as resp: #直接使用IP地址 print(resp.status)
重要提示:
- 重用 Session: 确保重用 aiohttp 的 ClientSession 对象。每次创建新的 ClientSession 对象都会导致 DNS 缓存失效，从而增加 DNS 解析的开销。
总结
通过预先手动序列化 JSON 数据和加速 DNS 解析，可以有效解决使用 aiohttp 发送大量请求时遇到的 EventLoop 阻塞问题，从而提高 API 的响应速度和性能。在实际应用中，可以根据具体情况选择合适的优化方案。
