0

0

C#并发下载文件分片 C#如何多线程下载一个大文件的不同部分

煙雲

煙雲

发布时间:2026-03-13 14:27:34

|

304人浏览过

|

来源于php中文网

原创

HttpClient分片下载需手动设置Range头、预分配文件空间并Seek写入、调大连接限制、用ResponseHeadersRead避免内存溢出、本地记录进度实现断点续传。

c#并发下载文件分片 c#如何多线程下载一个大文件的不同部分

HttpClient 发起多个 Range 请求必须手动设置 Range

HTTP 分片下载本质是并发发多个带 Range 头的 GET 请求,每个请求只取文件一段。C# 的 HttpClient 不会自动帮你拆分或加头,得自己算字节范围、手动塞进 HttpRequestMessage

常见错误是直接对同一 URL 开多个 GetAsync 却没设 Range,结果全下完整文件,白忙活。

  • 先用 HEAD 请求拿到 Content-Length,确认文件总大小
  • 按线程数等分区间,比如 100MB 文件开 4 线程 → 每段 25MB,起始偏移分别是 0、25_000_000、50_000_000、75_000_000
  • 构造 HttpRequestMessage,用 Headers.Add("Range", "bytes=0-24999999")(注意是闭区间)
  • 务必检查响应状态码是 206 Partial Content,不是 200 —— 否则说明服务器不支持分片或头没生效

FileStream 写入多段时必须用 Seek 定位,不能顺序追加

各线程下载完自己的数据块后,得写回同一个文件的对应位置。如果都用 FileMode.Append,所有数据会挤在文件末尾,顺序全乱。

正确做法是打开文件时用 FileMode.Create 预分配空间(SetLength),再用 Seek 跳到指定 offset 写入。

  • 提前创建空文件:using var fs = new FileStream(path, FileMode.Create); fs.SetLength(totalSize);
  • 每个线程拿到自己的 offset 后,用 fs.Seek(offset, SeekOrigin.Begin) 定位
  • 写入前加锁或用 FileStream 自带的线程安全写法(如传 FileOptions.Asynchronous + WriteAsync
  • 别用 StreamWriter —— 它是文本层,会编码转换,破坏二进制数据

并发数不是越多越好,HttpClient 默认连接限制会卡死

默认 HttpClient 通过 ServicePointManager.DefaultConnectionLimit 控制最大并发连接数(.NET Framework 是 2,.NET Core/5+ 是 10)。开 20 个线程发请求,可能有 10 个一直阻塞在连接池排队。

AI Web Designer
AI Web Designer

AI网页设计师,快速生成个性化的网站设计

下载

现象是:前几个分片很快完成,后面十几个长时间无响应,甚至超时。

  • 改连接限制:ServicePointManager.DefaultConnectionLimit = 100;(仅 .NET Framework)
  • .NET Core 及以后用 HttpClientHandler.MaxConnectionsPerServer,初始化 HttpClient 时传入
  • 更稳妥的是复用一个 HttpClient 实例(它本就是线程安全的),别每个线程 new 一个
  • 观察 HttpCompletionOption.ResponseHeadersRead —— 下载大文件时设这个,避免把整个响应体缓存在内存里

断点续传要靠本地记录已下载区间,别依赖服务器返回的 Content-Range

服务器返回的 Content-Range: bytes 0-24999999/104857600 只反映本次响应范围,不表示“前面那段我已经下好了”。真正断点续传得自己维护一个已成功写入的区间列表(比如存 JSON 到临时文件)。

否则程序中断重跑,又从头开始下,浪费带宽还拖慢整体进度。

  • 每次成功写入一段后,把 [start, end] 记进本地 .progress.json
  • 启动时读这个文件,跳过已存在的区间,只发起缺失部分的 Range 请求
  • 注意文件系统写入可能不原子,建议用 File.Replace 更新进度文件
  • 别用 DateTime 或文件大小判断是否完成 —— 大小可能因压缩、重定向变化,不可靠

分片下载真正的麻烦点不在并发本身,而在如何让每段数据准确落到文件该去的位置、以及怎么扛住网络波动和进程意外退出。细节错一点,文件就损坏,且很难排查。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

457

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

549

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

337

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

954

2023.09.19

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

954

2023.09.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

766

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

377

2025.12.24

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 11.2万人学习

C 教程
C 教程

共75课时 | 5.4万人学习

C++教程
C++教程

共115课时 | 21.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号