0

0

Golang实现多端并发下载器_Range请求与文件合并

P粉602998670

P粉602998670

发布时间:2026-02-26 12:23:32

|

870人浏览过

|

来源于php中文网

原创

go range下载需手动设range头并校验206状态码,并发写用共享file.writeat,限流用io.limitreader,续传依赖主文件大小而非临时分片,最终以完整文件哈希校验。

golang实现多端并发下载器_range请求与文件合并

Go 用 http.NewRequest 发起 Range 请求,别漏掉 Range 头和状态码校验

Range 下载的前提是服务端支持分片,而 Go 默认的 http.Get 不带 Range 头,必须手动生成请求。常见错误是只加了头但没检查响应状态码——服务端不支持时返回 200(全量)而非 206(部分),导致后续合并逻辑错乱。

  • http.NewRequest("GET", url, nil) 创建请求,再调用 req.Header.Set("Range", "bytes=0-1023")
  • 务必检查 resp.StatusCode == http.StatusPartialContent,否则说明 Range 被忽略,得降级为单连接下载或报错退出
  • 某些 CDN 或 Nginx 配置下,Accept-Ranges: bytes 响应头存在 ≠ 实际支持 Range;最终以状态码为准
  • 不要复用同一个 *http.Client 实例发多个 Range 请求却不设 Timeout——某个分片卡住会拖垮整个下载器

并发写文件要用 os.OpenFile + file.WriteAt,别用 os.Createfile.Write

多个 goroutine 同时写一个文件,如果各自打开再写,轻则覆盖,重则 panic(“bad file descriptor”)。file.Write 是顺序写,无法指定偏移;而 file.WriteAt 才能精准落盘到指定字节位置。

  • 主文件必须用 os.OpenFile(path, os.O_CREATE|os.O_RDWR, 0644) 一次性打开,所有 goroutine 共享这个 *os.File
  • 每个分片 goroutine 拿到自己的 start 偏移后,直接调 file.WriteAt(data, int64(start))
  • 注意:Windows 下 WriteAt 可能不原子,但对下载合并影响不大;Linux/macOS 完全可靠
  • 别在 goroutine 里 defer file.Close()——主协程要等所有分片写完才关,否则文件句柄提前释放

io.Copy 配合 io.LimitReader 控制分片大小,避免内存爆掉

io.Copy 直接把 HTTP body 写进 buffer 容易 OOM,尤其当服务端不守约、返回远超 Range 指定长度的数据时。必须限流,且不能依赖 Content-Length——它可能缺失或不准。

WOMBO
WOMBO

使用AI创作美丽的艺术品

下载
  • 对每个分片响应体,包一层 io.LimitReader(resp.Body, int64(chunkSize))chunkSize 就是该分片理论长度
  • 然后用 io.Copy 写入 bytes.Buffer 或直接 WriteAt 到文件——后者更省内存
  • 读完后检查实际写入字节数是否等于 chunkSize,不等就说明服务端提前 EOF 或出错,需重试或报错
  • 别用 resp.Body.Read() 自己循环读——容易丢字节或阻塞,io.Copy 内部已做最优缓冲

合并完成前别删临时分片,断点续传靠的是 os.Stat 检查已写范围

下载中途失败,下次启动不是从头开始,而是扫描目标文件已存在的字节范围,跳过已成功写入的部分。临时分片文件(如 .part001)只是辅助调试,真正续传依据是主文件本身的长度和内容完整性。

立即学习go语言免费学习笔记(深入)”;

  • 启动时先 os.Stat(targetFile),拿到当前文件大小 curSize
  • curSize / chunkSize 算出已成功写满的分片数,剩余未写或写坏的部分才重新发起 Range 请求
  • 不要依赖临时文件是否存在来判断进度——它们可能被误删,而主文件只要没被截断就是可信的
  • 最后一步校验建议用 sha256.Sum256 对完整文件哈希,而不是比对每个分片哈希——网络传输中分片哈希无意义

Range 下载真正的复杂点不在并发控制,而在服务端行为的不可控:状态码飘忽、响应头缺失、实际数据长度不符、中间代理截断……所有这些都得在每次请求后立刻检查,不能攒到合并阶段再处理。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

207

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

242

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

350

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

212

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

405

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

385

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

200

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

1131

2025.06.17

batoto漫画官网入口与网页版访问指南
batoto漫画官网入口与网页版访问指南

本专题系统整理batoto漫画官方网站最新可用入口,涵盖最新官网地址、网页版登录页面及防走失访问方式说明,帮助用户快速找到batoto漫画官方平台,稳定在线阅读各类漫画内容。

331

2026.02.25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 5.6万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号