0

0

如何使用Golang开发文件压缩工具_Golang压缩解压实战

P粉602998670

P粉602998670

发布时间:2026-01-29 12:53:02

|

714人浏览过

|

来源于php中文网

原创

ZIP打不开主因是FileHeader.Name未设为合法相对路径;解压需校验Name防遍历;tar.gz跨平台支持差;大文件须io.Copy流式处理,禁用全量读取;时间戳应显式设置。

如何使用golang开发文件压缩工具_golang压缩解压实战

archive/zip 压缩多个文件时,为什么生成的 ZIP 打不开?

常见原因是没正确设置 zip.FileHeader.Name,导致文件路径混乱或为空。ZIP 规范要求每个文件条目必须有非空、正斜杠分隔的相对路径(不能以 / 开头,也不能含 ..)。Windows 资源管理器对非法 Name 特别敏感,直接报“压缩包损坏”。

  • 确保 fh.Name 是干净的相对路径,例如 "docs/readme.txt",而不是 "/home/user/docs/readme.txt""../readme.txt"
  • filepath.ToSlash(filepath.Rel(rootDir, absPath)) 安全生成归档内路径
  • 手动设置 fh.Method = zip.Deflate(默认是 Store,不压缩)
  • 写入前调用 fw, err := zw.CreateHeader(&fh),不要跳过这步直接 zw.Create()

解压 ZIP 时如何避免目录遍历攻击(../../../etc/passwd)?

Go 标准库不会自动校验路径安全性,zip.File.Open() 返回的 reader 可读任意内容,但真正危险的是你调用 os.Create() 时用了未经净化的 f.Name

  • 对每个 zip.FileName 调用 strings.HasPrefix(f.Name, "..") || strings.Contains(f.Name, "/../") 检查
  • filepath.Clean(f.Name) 归一化后,再确认是否仍以 ".." 开头或含 ".." 组件
  • 更稳妥的做法:提取 filepath.Base(f.Name) 作为文件名,强制解压到固定子目录(如 "./unzipped/"),忽略原始路径结构
  • 别信任 f.IsDir() 单独判断——恶意 ZIP 可伪造 Name = "etc/passwd/" 让它返回 true

archive/tar + gzip 打包比 zip 快,但为啥 macOS/Linux 上默认打不开?

TAR.GZ 不是单个文件格式,而是两层封装:tar 打包 + gzip 压缩。macOS Finder 和 Windows 资源管理器只原生支持 ZIP,不识别 .tar.gz。用户双击会提示“无法打开”,除非装了 The Unarchiver 或 Keka。

千音漫语
千音漫语

全能AI配音神器

下载
  • tar.NewWriter 写入文件时,Header.Name 同样要 clean,且不能以 / 开头
  • gzip 层必须在 tar 外层:先 gzip.NewWriter(f),再传给 tar.NewWriter(),顺序反了会生成无效流
  • 如果目标用户主要是 macOS/Linux 终端用户,TAR.GZ 更轻量;若需跨平台开箱即用,坚持用 archive/zip
  • 注意:tar 不自带文件权限加密,敏感信息别依赖它做安全隔离

大文件压缩卡住或内存爆掉,怎么流式处理?

把整个文件读进 []byte 再写入 zip/tar 是最常见内存杀手。尤其是压缩几百 MB 日志时,Go 程序 RSS 直接飙到 2GB+。

立即学习go语言免费学习笔记(深入)”;

  • 永远用 io.Copy() 流式传输:打开源文件 → fw, _ := zw.CreateHeader(&fh)io.Copy(fw, srcFile)
  • 避免 os.ReadFile()bytes.Buffer 缓存全文本
  • 对超大单文件(>1GB),可配合 io.LimitReader() 分块处理,但一般没必要——标准 io.Copy 默认 32KB 缓冲已足够
  • 如果并发压缩多个文件,注意控制 goroutine 数量,用 semaphore 限制同时打开的文件句柄数,防止 too many open files
实际项目里最容易被忽略的,是 ZIP 文件时间戳的默认值——fh.ModTime 若为零值,部分解压工具(如 7-Zip)会显示错误日期,甚至影响某些构建流程的缓存判定。记得显式赋值 fh.ModTime = time.Now() 或从源文件取 fi.ModTime()

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

182

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

229

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

343

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

209

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

394

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

220

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

193

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

418

2025.06.17

java入门学习合集
java入门学习合集

本专题整合了java入门学习指南、初学者项目实战、入门到精通等等内容,阅读专题下面的文章了解更多详细学习方法。

1

2026.01.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 8万人学习

Git 教程
Git 教程

共21课时 | 3.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号