0

0

c# HttpCompletionOption.ResponseHeadersRead 在高并发下载中的应用

幻夢星雲

幻夢星雲

发布时间:2026-01-19 10:18:09

|

382人浏览过

|

来源于php中文网

原创

HttpCompletionOption.ResponseHeadersRead让HttpClient在收到响应头后立即返回Task,避免缓冲完整响应体导致内存溢出;高并发下载时必须使用它,并配合Stream.CopyToAsync流式处理、合理设置MaxConnectionsPerServer和CancellationToken。

c# httpcompletionoption.responseheadersread 在高并发下载中的应用

HttpCompletionOption.ResponseHeadersRead 是什么,为什么高并发下载时必须用它

它告诉 HttpClient 在收到响应头后就立即返回 Task,而不是等整个响应体(比如几百 MB 的文件)全部下载完才返回。高并发场景下,如果不用这个选项,每个请求都会在内存中缓冲完整响应体,极易触发 OutOfMemoryException 或严重拖慢吞吐量。

  • 默认行为是 HttpCompletionOption.ResponseContentRead,适合小响应(如 JSON API),不适合大文件流式处理
  • 启用 ResponseHeadersRead 后,你必须手动调用 response.Content.ReadAsStreamAsync() 获取流,并自行控制读取节奏
  • 它不改变连接复用、超时或重试逻辑,只影响“何时算请求完成”

如何配合 Stream.CopyToAsync 实现无内存堆积的并发下载

拿到响应流后,不能直接 await response.Content.ReadAsByteArrayAsync()——这又会把整个文件加载进内存。必须用流式复制,且显式控制并发数,避免打爆目标服务器或本地 socket 限制。

var client = new HttpClient();
// 注意:务必设置 Timeout 和 MaxConnectionsPerServer
client.Timeout = TimeSpan.FromMinutes(10);
var handler = client.Handler as HttpClientHandler;
if (handler != null) handler.MaxConnectionsPerServer = 100;

var downloadTasks = urls.Select(async url =>
{
    var response = await client.GetAsync(url, HttpCompletionOption.ResponseHeadersRead);
    response.EnsureSuccessStatusCode();

    using var stream = await response.Content.ReadAsStreamAsync();
    using var file = File.Create($"./downloads/{Path.GetFileName(url)}");
    await stream.CopyToAsync(file); // 内部按 81920 字节块分批读写,不占大内存
});
  • CopyToAsync 默认 buffer size 是 81920,已足够高效;不必手动 Read/Write 循环
  • 务必对 HttpClient 设置 MaxConnectionsPerServer,否则 .NET 默认仅 2 个连接,高并发会排队阻塞
  • 不要为每个下载新建 HttpClient,复用实例并配置好生命周期

常见错误:忘了 Dispose HttpResponseMessage 或流未关闭导致句柄泄漏

使用 ResponseHeadersRead 后,HttpResponseMessage 不再自动管理底层连接——如果你没读完流或提前丢弃了 response,连接可能卡在 CLOSE_WAIT 状态,最终耗尽可用 socket。

jQuery自动滚动五屏图片通栏代码
jQuery自动滚动五屏图片通栏代码

jQuery自动滚动五屏图片通栏代码,带左右按钮切换图片,鼠标移到图片后图片高亮显示,点击会显示带阴影的大图。兼容主流浏览器,php中文网推荐下载! 使用方法: 1、head区域引用文件lrtk.css及js库 2、在文件中加入区域代码 3、复制images文件夹里的图片到相应的路径

下载
  • 必须确保 response.Content.ReadAsStreamAsync() 被调用,哪怕只读前几个字节;否则连接不会释放
  • 即使下载失败(如网络中断),也要在 catch 块中调用 response?.Dispose()
  • 不要在 using var response = ... 里只检查状态码return,那会跳过流读取和 dispose
  • 推荐结构:try { stream = await response.Content.ReadAsStreamAsync(); ... } finally { response?.Dispose(); }

性能关键点:Buffer size、同步 I/O 与 CancellationToken 传递

CopyToAsync 支持自定义 buffer size 和 CancellationToken,这两项在高并发长下载中直接影响稳定性与响应性。

await stream.CopyToAsync(file, bufferSize: 65536, cancellationToken);
  • bufferSize 设为 64KB–128KB 通常比默认值更适应千兆网卡和 SSD 写入节奏
  • 务必把外部 CancellationToken 传给 CopyToAsync,否则取消请求时可能还在写磁盘,无法及时退出
  • 避免在 FileStream 构造时用 FileOptions.Asynchronous ——.NET 6+ 的 CopyToAsync 已默认异步,重复设置反而可能降低性能
  • 注意:Windows 上 FileOptions.WriteThrough 会强制刷盘,大幅降低写速,仅调试时用

真正容易被忽略的是连接池耗尽和流未读完之间的隐式耦合——只要有一个请求没走到 ReadAsStreamAsync(),它就在后台悄悄占用一个连接,而你从监控里几乎看不到异常日志。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

412

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

533

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

310

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

74

2025.09.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

392

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

572

2023.08.10

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

599

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1104

2023.07.27

微信聊天记录删除恢复导出教程汇总
微信聊天记录删除恢复导出教程汇总

本专题整合了微信聊天记录相关教程大全,阅读专题下面的文章了解更多详细内容。

36

2026.01.18

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 8.4万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号