0

0

Python 断点续传的实现思路解析

舞夢輝影

舞夢輝影

发布时间:2026-02-14 19:33:48

|

129人浏览过

|

来源于php中文网

原创

断点续传本质是http range请求+本地文件偏移写入,需服务端支持206响应与accept-ranges头,客户端用'ab'模式追加写入并校验content-range与哈希。

python 断点续传的实现思路解析

断点续传本质是 HTTP Range 请求 + 本地文件偏移写入

断点续传不是 Python 独有的魔法,它依赖服务端支持 Range 头和返回 206 Partial Content,客户端则要跳过已下载字节、从指定位置追加写入。Python 标准库没封装“断点续传”这个动作,得自己拼:requests 发带 Range 的请求 + 手动控制 open(..., 'ab') 模式写入。

常见错误现象:用 'wb' 模式覆盖重写、没校验服务端是否真返回了 206(有些 CDN 或 Nginx 默认不返回)、忽略 Content-Range 响应头里的真实起始偏移,导致文件错位。

  • 务必先读取本地文件长度,作为下次请求的 Range 起始值:start = os.path.getsize(local_path)
  • 发请求前检查服务端是否支持断点:response.headers.get('Accept-Ranges') == 'bytes' 或直接尝试发一次 HEAD 请求
  • 响应状态不是 206 就别硬续传——可能服务端禁用了,此时应删掉已有文件重新下

requests 怎么发正确的 Range 请求

requests 本身不阻止你发 Range,但容易漏掉关键细节:header 值格式必须严格为 'bytes=12345-' (末尾短横不能少),且不能和 If-Range 冲突;另外,stream=True 必须开,否则响应体被提前读空,iter_content() 拿不到流。

使用场景:大文件下载中途被中断(网络抖动、程序崩溃、用户 Ctrl+C)后恢复。

立即学习Python免费学习笔记(深入)”;

LogoMaker
LogoMaker

免费在线制作Logo,在几分钟内完成标志设计

下载
  • 构造 header:headers = {'Range': f'bytes={start}-'}start 是本地文件当前字节数
  • 必须加 stream=Truerequests.get(url, headers=headers, stream=True)
  • 收到响应后立刻检查:if response.status_code != 206,不是就报错退出,别往下走
  • 写入时用 open(local_path, 'ab'),确保 append 模式,且不 truncate

怎么避免多线程/多进程下写坏文件

多个下载任务同时往同一个文件写,哪怕都用 'ab',也极大概率写乱——操作系统层面的 write() 不是原子操作,尤其在不同进程间共享 fd 时。断点续传默认是单任务串行行为,强行并发必须加锁或换方案。

性能影响:加文件锁会拖慢速度;用独立临时文件再合并,磁盘 IO 增加一倍;用内存 buffer 拼接再写入,内存占用不可控。

  • 最稳做法:每个任务下载到独立临时文件(如 file.part001),最后用 shutil.copyfileobj() 按序拼接
  • 若坚持单文件 + 多线程,必须用 os.open(..., os.O_APPEND | os.O_WRONLY) + os.write(),并配合 flock(Linux/macOS)或 msvcrt.locking()(Windows)
  • 别信“多个 open(..., 'ab') 自动同步”——那是错觉,实测 3 线程下 10MB 文件错位率超 70%

校验续传结果是否完整可靠

只比对文件大小等于 Content-Length 不够——中间某段可能写失败但没报错,或者服务端返回了错误数据却没触发异常。真正可靠的验证只有两个:服务端提供 ETagContent-MD5,或下载完成后本地算全量哈希。

容易踩的坑:边下边算 MD5 会误把未完成文件当完整体校验;用 HEAD 拿到的 Content-Length 可能和实际 206 响应里 Content-Range 的总长不一致(比如服务端压缩了)。

  • 优先查响应头:response.headers.get('Content-MD5')response.headers.get('ETag'),有就解码后比对
  • 没头信息就只能等下载完再算:hashlib.sha256(open(local_path, 'rb').read()).hexdigest(),但大文件慎用 .read(),改用分块更新
  • 别省略 Content-Range 解析:bytes 12345-67890/99999 里的 99999 才是总长,不是 HEAD 返回的那个

断点续传最麻烦的从来不是“怎么发请求”,而是“怎么确认这一段真的写对了、没丢字节、没和其他段打架”。服务端配合度、本地文件系统行为、异常中断时机,三者叠加,任何一环松动都会让续传变成静默损坏。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

239

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

514

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

565

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

237

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

458

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3585

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

45

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

63

2026.01.13

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

23

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号