0

0

如何在 aiohttp 异步请求中直接处理图像(无需临时文件)

花韻仙語

花韻仙語

发布时间:2026-03-12 14:46:10

|

213人浏览过

|

来源于php中文网

原创

如何在 aiohttp 异步请求中直接处理图像(无需临时文件)

本文详解如何使用 aiohttp 异步下载图像后,不经过磁盘保存、直接将其字节流加载为 PIL.Image 对象并计算感知哈希(如 phash),适用于高并发图像分析场景。

本文详解如何使用 aiohttp 异步下载图像后,不经过磁盘保存、直接将其字节流加载为 pil.image 对象并计算感知哈希(如 `phash`),适用于高并发图像分析场景。

在异步 Web 开发或大规模图像处理任务中,频繁同步下载图像会严重拖慢整体性能。虽然 requests + PIL.Image.open() 可以轻松通过 response.raw 流式加载图像,但 aiohttp 的响应对象(ClientResponse)并不直接兼容 PIL 的文件类接口——它返回的是异步可迭代的字节流(AsyncStreamReader),不能直接传给 Image.open()。

根本原因在于:Image.open() 期望接收一个支持 .read()、.seek() 等方法的类文件对象(如 BytesIO 或真实文件句柄),而 aiohttp 的 response.content 是异步迭代器,每次 async for line in response.content 只得到一段不完整字节(chunk),且 line 是 bytes 类型,不具备文件行为;强行传入会导致 ValueError: embedded null byte 等错误(因 PIL 尝试将其当作文件路径解析)。

✅ 正确做法是:先用 await response.read() 完整读取响应体为 bytes,再用 io.BytesIO() 将其封装为内存中的可随机访问文件对象,最后交由 PIL.Image.open() 处理。该方案零磁盘 I/O、线程安全、完全内存驻留,完美适配高吞吐图像哈希计算需求。

百宝箱
百宝箱

百宝箱是支付宝推出的一站式AI原生应用开发平台,无需任何代码基础,只需三步即可完成AI应用的创建与发布。

下载

以下是精简、健壮的实现示例:

import asyncio
import io
from PIL import Image
import imagehash
from aiohttp import ClientSession

async def fetch_and_hash_image(url: str, hash_size: int = 6) -> str:
    """异步获取图像并计算 phash,全程不写磁盘"""
    async with ClientSession() as session:
        async with session.get(url) as response:
            # 关键:确保完整读取二进制内容
            content = await response.read()

            # 将 bytes 转为 BytesIO 流,供 PIL 使用
            image_stream = io.BytesIO(content)

            # 加载图像(自动识别格式)
            img = Image.open(image_stream)

            # 计算感知哈希(推荐 phash,对缩放/旋转鲁棒)
            img_hash = imagehash.phash(img, hash_size=hash_size)

            return str(img_hash)

# 批量处理多个 URL 的示例(推荐方式)
async def batch_hash(urls: list) -> list:
    tasks = [fetch_and_hash_image(url) for url in urls]
    return await asyncio.gather(*tasks)

# 使用示例
if __name__ == "__main__":
    test_url = "https://ae01.alicdn.com/kf/Sec174725eb944b4693342178da975d52z.jpg"

    async def main():
        try:
            hash_val = await fetch_and_hash_image(test_url)
            print(f"✅ 图像哈希值: {hash_val}")
        except Exception as e:
            print(f"❌ 处理失败: {type(e).__name__}: {e}")

    asyncio.run(main())

? 关键注意事项:

  • ✅ await response.read() 是核心:它返回完整的 bytes,避免分块读取导致的图像数据截断;
  • ✅ io.BytesIO(content) 创建了标准的、支持 .seek() 和 .read() 的内存流,完全满足 PIL 要求;
  • ⚠️ 不要设置 response.auto_decompress = False(除非你明确需要原始压缩流)——默认启用 Gzip/Deflate 解压更安全,且 response.read() 已自动处理;
  • ⚠️ 若目标图像可能损坏或格式异常,建议添加 try/except 包裹 Image.open() 和 imagehash.phash(),防止单张失败阻塞整个协程;
  • ? 批量处理时,优先使用 asyncio.gather() 并发执行多个 fetch_and_hash_image,而非串行 await,可显著提升吞吐量。

通过这一模式,你可在毫秒级完成数百张 CDN 图像的异步拉取与哈希生成,彻底摆脱临时文件依赖,兼顾性能、简洁性与工程健壮性。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

254

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1089

2024.03.01

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1925

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

656

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2392

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

47

2026.01.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

38

2026.03.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号