0

0

requests 如何优雅处理流式响应而不一次性读完全部内容

舞夢輝影

舞夢輝影

发布时间:2026-01-22 20:10:01

|

458人浏览过

|

来源于php中文网

原创

使用requests处理流式响应需设stream=True,用iter_content()逐块读取bytes并手动解码;raw流需自行处理编码和连接释放;务必用with管理连接或显式close()。

requests 如何优雅处理流式响应而不一次性读完全部内容

requests 处理流式响应时,关键在于禁用自动解码、启用流模式,并逐块读取,避免把整个响应体加载进内存。

启用流式请求

必须显式设置 stream=True,否则 requests 会默认把响应体全部读入内存再返回:

  • response = requests.get(url, stream=True)
  • 此时 response.content 不可用(会触发完整读取),应改用 response.iter_content() 或直接遍历 response.raw

按块读取响应体

推荐使用 iter_content(chunk_size),它自动处理压缩、分块传输等细节:

奇布塔
奇布塔

基于AI生成技术的一站式有声绘本创作平台

下载
  • for chunk in response.iter_content(chunk_size=8192):
  • chunkbytes 类型,需自行解码(如 UTF-8)再处理文本
  • 设为 None 表示不缓冲,适合极低延迟场景;设为具体数值(如 4096)更平衡效率与内存

手动控制 raw 流(高级场景)

若需精细控制底层 socket 行为(如超时、非阻塞读),可绕过 requests 的封装,直接操作 response.raw

  • 确保 response.raw.readable()True
  • 调用 response.raw.read(n)response.raw.readline()
  • 注意:需手动处理 gzip编码,requests 默认已解压 Content-Encoding: gzip,但 raw 可能未解压,建议优先用 iter_content

及时释放连接与异常防护

流式响应容易因处理慢或中断导致连接堆积,务必规范收尾:

  • with requests.get(..., stream=True) as r: 自动关闭连接
  • 在循环中捕获 requests.exceptions.ChunkedEncodingErrorConnectionError
  • 处理完后显式调用 response.close()(尤其未用上下文管理器时)

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

393

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

574

2023.08.10

Golang 性能分析与pprof调优实战
Golang 性能分析与pprof调优实战

本专题系统讲解 Golang 应用的性能分析与调优方法,重点覆盖 pprof 的使用方式,包括 CPU、内存、阻塞与 goroutine 分析,火焰图解读,常见性能瓶颈定位思路,以及在真实项目中进行针对性优化的实践技巧。通过案例讲解,帮助开发者掌握 用数据驱动的方式持续提升 Go 程序性能与稳定性。

9

2026.01.22

html编辑相关教程合集
html编辑相关教程合集

本专题整合了html编辑相关教程合集,阅读专题下面的文章了解更多详细内容。

56

2026.01.21

三角洲入口地址合集
三角洲入口地址合集

本专题整合了三角洲入口地址合集,阅读专题下面的文章了解更多详细内容。

50

2026.01.21

AO3中文版入口地址大全
AO3中文版入口地址大全

本专题整合了AO3中文版入口地址大全,阅读专题下面的的文章了解更多详细内容。

396

2026.01.21

妖精漫画入口地址合集
妖精漫画入口地址合集

本专题整合了妖精漫画入口地址合集,阅读专题下面的文章了解更多详细内容。

118

2026.01.21

java版本选择建议
java版本选择建议

本专题整合了java版本相关合集,阅读专题下面的文章了解更多详细内容。

3

2026.01.21

Java编译相关教程合集
Java编译相关教程合集

本专题整合了Java编译相关教程,阅读专题下面的文章了解更多详细内容。

16

2026.01.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 13万人学习

Rust 教程
Rust 教程

共28课时 | 4.7万人学习

Git 教程
Git 教程

共21课时 | 2.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号