用 http.get 实现带进度下载需包装 body 为计数读取器,检查 content-length 或提示“未知大小”,通过 channel/goroutine 批量上报进度;临时文件须与目标同目录以保证 os.rename 原子性;断点续传需校验 range 支持并处理 206 响应;避免 oom 要流式处理、设超时与连接限制。

如何用 http.Get 发起带进度的下载请求
Go 标准库不直接提供下载进度回调,但 http.Get 返回的 *http.Response 的 Body 是一个 io.ReadCloser,可以被包装成带计数的读取器。关键不是换库,而是把原始响应流“截下来”做中间处理。
常见错误是直接 io.Copy 到文件,完全丢失字节流动态;或者用 response.ContentLength 做进度分母,却忽略服务器未返回该 header 或返回 -1 的情况(如 chunked 编码)。
- 优先检查
resp.Header.Get("Content-Length"),转为int64;若为空或解析失败,设为 -1,后续改用累计字节数 + 用户提示“未知总大小” - 用
io.TeeReader(resp.Body, counterWriter)或自定义io.Reader实现边读边累加 - 避免在主线程里频繁更新 UI 或日志——用 channel 或 goroutine 批量上报进度,比如每 100ms 或每 64KB 触发一次
如何安全写入临时文件并原子替换目标文件
直接写到目标路径有风险:中断导致损坏、并发写冲突、权限丢失。Go 没有跨平台的原子重命名保证,但 os.Rename 在同文件系统内是原子的,这是可依赖的行为。
典型陷阱是临时文件和目标文件不在同一磁盘分区(比如 /tmp 在内存 tmpfs,而目标在 /home),此时 os.Rename 会失败并返回 syscall.EXDEV。
立即学习“go语言免费学习笔记(深入)”;
- 临时文件必须与目标文件在同一目录下创建,例如:
tempFile, _ := os.Create(filepath.Join(filepath.Dir(destPath), "."+filepath.Base(destPath)+".tmp")) - 写入完成后调用
tempFile.Close(),再执行os.Rename(tempFile.Name(), destPath) - 务必检查
os.Rename错误;若为syscall.EXDEV,退化为io.Copy+os.Chmod+os.Chtimes手动复制元数据
如何支持断点续传(Range 请求)
断点续传依赖服务端支持 Accept-Ranges: bytes 和正确处理 Range header。Go 客户端只需设置请求头,但需自行管理已下载部分、校验范围对齐、处理 206 Partial Content 响应。
容易被忽略的是:本地文件末尾字节可能损坏(如上次写入中断),直接续传会导致偏移错位;还有服务端可能忽略 Range 并返回 200 和完整 body。
- 先用
os.Stat获取本地文件大小,作为Range起始位置;若文件不存在,则从 0 开始 - 发起请求前加 header:
req.Header.Set("Range", fmt.Sprintf("bytes=%d-", downloadedSize)) - 检查响应状态:
resp.StatusCode == http.StatusPartialContent;否则清空本地文件重下(说明服务端不支持或 Range 被忽略) - 写入时跳过开头
downloadedSize字节,或以os.O_APPEND模式打开文件(注意:Windows 下O_APPEND不保证线程安全,建议用 seek + write)
如何避免大文件下载卡死主线程或耗尽内存
默认用 io.Copy 是流式处理,内存占用低;但若想实时统计、加密、校验(如 SHA256),有人会先把整个 body 读进 []byte,这在下载 GB 级文件时直接 OOM。
另一个隐形问题是:没设超时,TCP 连接挂起时程序无限等待;或没限制并发连接数,同时启几十个下载 goroutine 把系统 fd 耗尽。
- 始终为
http.Client设置Timeout、Transport.MaxIdleConns和MaxIdleConnsPerHost - 校验和计算用
hash.Hash接口 +io.MultiWriter,让下载流同时写入文件和哈希器,零额外内存拷贝 - 控制并发:用带缓冲的 channel 作令牌桶,或用
semaphore.NewWeighted(maxConcurrent)(Go 1.19+)限制活跃下载数
进度管理真正的复杂点不在计数逻辑,而在如何把网络不确定性(重试、超时、服务端行为差异)、文件系统边界(原子性、权限、硬链接)、用户交互(暂停/恢复/取消)三者稳稳咬合——每个环节都得留退路,不能假设任何一步一定成功。










