Go断点续传多线程下载器基于HTTP Range实现:先HEAD校验服务端支持,再按块分发goroutine并行下载,本地用seek+write精准写入,状态持久化至JSON meta文件,支持中断恢复与进度显示。

用 Go 写一个支持断点续传和多线程的命令行下载器,核心在于合理利用 HTTP Range 请求、本地文件随机写入、并发控制与状态持久化。它不依赖第三方 CLI 工具,纯 stdlib + 少量外部包即可实现稳定可靠的效果。
理解断点续传的关键机制
断点续传本质是让客户端能从上次中断的位置继续下载,而非重头开始。这需要服务端支持 Range 请求(返回 206 Partial Content),并要求本地记录已下载字节偏移量。
- 发起请求前,先 HEAD 获取文件总大小和是否支持 Range(检查响应头是否有
Accept-Ranges: bytes) - 检查本地是否存在临时文件(如
file.zip.part),读取其长度作为起始 offset - 构造
Range: bytes=1024-请求头,只拉取剩余部分 - 用
os.OpenFile(..., os.O_WRONLY|os.O_APPEND)或更稳妥的os.Seek + Write写入对应位置(多线程时必须按块偏移写)
实现多线程分块下载
将文件按字节范围切分成多个 chunk(例如每块 1MB),每个 goroutine 独立请求并写入指定偏移,避免竞态和顺序依赖。
- 计算总大小后,预分配 N 个
[start, end]区间(end = start + chunkSize - 1,最后一块对齐) - 为每个区间启动 goroutine,复用同一 http.Client(设置 Timeout 和 Transport 复用连接)
- 每个 goroutine 打开文件,
file.Seek(start, 0),然后io.CopyN(dst, resp.Body, chunkSize) - 用
sync.WaitGroup等待全部完成,出错时记录失败区间,支持重试
保存和恢复下载状态
意外中断后需知道“哪些块下完了、哪些没下”,不能仅靠文件大小判断(因写入可能未刷盘或部分失败)。
立即学习“go语言免费学习笔记(深入)”;
- 维护一个轻量状态文件(如
file.zip.part.meta),JSON 格式存储:{ "url": "...", "size": 10485760, "chunks": [{"start":0,"end":1048575,"done":true}, ...] } - 每次成功写完一块,原子更新 meta 文件(先写临时文件,再 rename)
- 启动时优先读 meta 文件,跳过
done == true的块;若 meta 不存在或校验失败,则清空 part 文件重新开始 - 可选:添加 CRC32 或 SHA256 分块校验,防止磁盘静默错误
构建简洁可用的命令行接口
使用 flag 或更友好的 spf13/cobra 解析参数,聚焦核心体验:
- 基本用法:
dl -u "https://example.com/large.zip" -o "./out.zip" - 支持配置:
-j 4指定并发数(默认 3)、-c 1048576设置块大小(默认 1MB)、-t 30设置超时秒数 - 实时进度:用
github.com/vbauerster/mpb/v8渲染多进度条(每个 goroutine 一个 bar),或简单打印百分比+速率(bytes/sec) - 完成时自动将
.part重命名为目标文件名,并删除 .meta(或保留供 debug)










