分片上传：客户端按5MB切分文件，携带文件名、序号、总数、唯一ID等元信息通过HTTP POST逐片上传，支持断点续传与大文件传输。
实现一个可靠的 Golang 文件分片上传系统，关键在于分片上传、服务端接收、分片合并与完整性校验这几个环节。整个流程要支持大文件传输、断点续传和防止数据损坏。下面从核心逻辑出发，说明如何设计和实现。
1. 分片上传：客户端切分并上传小块
客户端将大文件按固定大小（如 5MB）切分成多个片段，每个片段独立上传，避免单次请求过大或失败后重传全部内容。
关键步骤：
- 打开源文件，使用 os.Open 获取文件句柄
- 通过 file.Stat() 获取文件总大小
- 按设定的分片大小（例如 5 * 1024 * 1024 字节）循环读取并上传
- 每一片携带元信息：文件名、分片序号、总片数、唯一文件标识（如 MD5 或 UUID）
- 使用 HTTP POST 逐个发送到服务端接口（如 /upload/chunk）
示例代码片段（客户端）：
立即学习“go语言免费学习笔记（深入）”；
const chunkSize = 5 << 20 // 5MBfile, _ := os.Open("large-file.zip") defer file.Close()
fi, _ := file.Stat() totalSize := fi.Size() uuid := generateFileID() // 可基于文件路径+时间生成唯一 ID
for i := 0; ; i++ { chunk := make([]byte, chunkSize) n, err := file.Read(chunk) if n <= 0 { break }
// 发送第 i 片 uploadChunk(uuid, i, chunk[:n], totalSize)}
2. 服务端接收分片并暂存
服务端需要提供一个接收分片的接口，把每个上传的片段保存到临时目录，并记录状态，以便后续合并。
处理逻辑：
- 接收字段：file_id、chunk_index、total_chunks、data
- 创建临时目录：tmp/{file_id}/chunks/
- 将分片数据写入对应文件：{chunk_index}.part
- 维护一个状态文件或内存映射，记录该 file_id 已收到哪些分片
- 返回成功状态，客户端可继续下一片
Go 服务端接收示例（使用 Gin）：
func handleUploadChunk(c *gin.Context) {
fileID := c.PostForm("file_id")
indexStr := c.PostForm("chunk_index")
chunkIndex, _ := strconv.Atoi(indexStr)
data, _ := c.FormFile("data")
src, _ := data.Open()
defer src.Close()
dir := filepath.Join("tmp", fileID, "chunks")
os.MkdirAll(dir, 0755)
destPath := filepath.Join(dir, fmt.Sprintf("%d.part", chunkIndex))
dest, _ := os.Create(destPath)
io.Copy(dest, src)
dest.Close()
// 更新已接收分片列表（可用 map 或 Redis）
recordReceivedChunk(fileID, chunkIndex)
c.JSON(200, gin.H{"success": true})}
3. 分片合并：所有片段到位后拼接成完整文件
当服务端检测到某个文件的所有分片都已上传，即可触发合并操作。
合并流程：
- 检查该 file_id 的 total_chunks 是否全部存在
- 按序号从小到大依次读取 .part 文件
- 写入目标文件（如 uploads/{file_id}.zip）
- 合并完成后清理临时分片目录
合并代码示例：
func mergeChunks(fileID string, total int, outputPath string) error {
outFile, err := os.Create(outputPath)
if err != nil {
return err
}
defer outFile.Close()
for i := 0; i < total; i++ {
chunkPath := filepath.Join("tmp", fileID, "chunks", fmt.Sprintf("%d.part", i))
chunkData, err := os.ReadFile(chunkPath)
if err != nil {
return err
}
outFile.Write(chunkData)
}
// 合并成功后删除临时文件
os.RemoveAll(filepath.Join("tmp", fileID))
return nil}
4. 校验逻辑：确保文件完整性
为防止传输过程中数据出错，必须进行校验。常用方式有：
- 上传前计算原始文件哈希（如 SHA256），随第一个分片或单独参数传给服务端
- 合并完成后重新计算目标文件的哈希值
- 对比两个哈希是否一致，不一致则标记失败
- 也可在每个分片中附带其自身的校验码（如 CRC32），用于分片级验证
校验代码示意：
func calculateSHA256(filePath string) (string, error) {
f, err := os.Open(filePath)
if err != nil {
return "", err
}
defer f.Close()
h := sha256.New()
io.Copy(h, f)
return hex.EncodeToString(h.Sum(nil)), nil
}
// 使用方式
originalHash := getOriginalHashFromClient() // 客户端传入
mergedPath := "uploads/" + fileID + ".zip"
actualHash, _ := calculateSHA256(mergedPath)
if originalHash != actualHash {
return errors.New("文件校验失败，数据不一致")
}
基本上就这些。构建完整的系统时，可以加入 Redis 记录上传状态、支持断点续传查询已有分片、前端展示进度条等功能。核心是分片可靠、合并有序、结果可验。整个流程在 Golang 中实现高效且稳定，适合大文件场景。
