首先通过filepath.Walk遍历目录收集文件，再利用goroutine并发处理，结合sync.WaitGroup和channel控制并发数，并封装错误处理函数确保单个文件失败不影响整体流程。
在Golang中实现文件批量处理功能，核心在于结合文件系统操作、并发控制和错误处理。通过os、filepath、io/ioutil等标准库，可以高效遍历目录并处理多个文件。以下是具体实现思路与示例。
遍历指定目录下的所有文件
使用filepath.Walk递归遍历目录，对每个文件执行指定操作。
- 传入根目录路径，Walk函数会自动访问所有子目录和文件
- 通过回调函数过滤非文件项（如目录）或按扩展名筛选
- 将匹配的文件路径存入切片或发送到通道
示例代码：
var files []string
err := filepath.Walk("data/", func(path string, info os.FileInfo, err error) error {
if err != nil {
return err
}
if !info.IsDir() {
files = append(files, path)
}
return nil
})
并发处理多个文件提升效率
对于I/O密集型任务（如读取、转换、上传），使用goroutine并发处理能显著缩短总耗时。
立即学习“go语言免费学习笔记（深入）”；
- 为每个文件启动一个goroutine进行独立处理
- 使用
sync.WaitGroup等待所有任务完成 - 通过带缓冲的channel控制并发数量，避免资源耗尽
示例结构：
semaphore := make(chan struct{}, 10) // 最大10个并发
var wg sync.WaitGroup
<p>for _, file := range files {
wg.Add(1)
go func(f string) {
defer wg.Done()
semaphore <- struct{}{}
defer func() { <-semaphore }()</p><pre class="brush:php;toolbar:false;"> processFile(f) // 具体处理逻辑
}(file)} wg.Wait()
统一处理逻辑与错误恢复
定义通用处理函数，并对每个文件的操作做错误捕获，保证批处理流程不因单个文件失败而中断。
- 将文件处理逻辑封装成独立函数，接收文件路径参数
- 在goroutine内部使用defer+recover防止panic扩散
- 记录失败文件路径及错误信息，便于后续排查
例如：
func processFile(path string) error {
data, err := os.ReadFile(path)
if err != nil {
log.Printf("读取失败 %s: %v", path, err)
return err
}
// 处理数据...
return nil
}
基本上就这些。只要合理组织遍历、并发和错误处理，就能构建稳定高效的批量文件处理器。实际应用中可根据需求加入进度显示、结果汇总或输出到新目录等功能，结构清晰且易于扩展。
