首先扫描目录获取文件列表，使用os.ReadDir遍历并筛选目标文件；接着通过带缓冲channel控制goroutine并发数，限制同时处理的文件数量以避免资源耗尽；然后定义handleFile函数执行具体操作，如读取、修改或转换；最后添加日志与错误处理确保稳定性。示例中实现了按后缀过滤及文件信息打印，整体结构清晰且易于扩展。
在Go语言中实现文件批量处理，关键在于结合文件系统操作、并发控制和错误处理。核心思路是扫描指定目录下的文件，对每个文件执行预设操作，比如读取、修改、转换或移动。下面分步骤说明如何高效安全地完成这一任务。
扫描目录获取文件列表
使用 os.ReadDir 遍历目录，这是Go 1.16+推荐的方式，比 ioutil.ReadDir 更轻量。
示例：获取指定路径下所有普通文件func getFiles(dir string) ([]string, error) {
var files []string
entries, err := os.ReadDir(dir)
if err != nil {
return nil, err
}
for _, entry := range entries {
if !entry.IsDir() {
files = append(files, filepath.Join(dir, entry.Name()))
}
}
return files, nil
}
并发处理文件以提升效率
文件处理通常是I/O密集型任务，使用goroutine并发执行能显著提高速度。但需控制并发数量，避免打开过多文件句柄。
通过带缓冲的channel限制最大并发数：
立即学习“go语言免费学习笔记（深入）”；
func processFiles(files []string, workers int) {
sem := make(chan struct{}, workers) // 控制并发
var wg sync.WaitGroup
for _, file := range files {
wg.Add(1)
go func(f string) {
defer wg.Done()
sem <- struct{}{} // 获取令牌
defer func() { <-sem }() // 释放令牌
// 执行具体处理逻辑
if err := handleFile(f); err != nil {
log.Printf("处理文件 %s 失败: %v", f, err)
}
}(file)
}
wg.Wait()
}
定义具体的文件处理逻辑
根据需求编写 handleFile 函数，例如读取内容、重命名、压缩或转换格式。
简单示例：打印文件大小func handleFile(filePath string) error {
info, err := os.Stat(filePath)
if err != nil {
return err
}
fmt.Printf("文件: %s, 大小: %d 字节\n", filePath, info.Size())
return nil
}
你也可以在这里调用外部命令、写入新文件或上传到远程服务。
添加过滤和扩展性支持
实际场景中常需按后缀、大小或修改时间筛选文件。
例如只处理 .log 文件：
if filepath.Ext(entry.Name()) == ".log" {
files = append(files, filepath.Join(dir, entry.Name()))
}
可将处理函数抽象为接口或传入函数参数，便于复用。
基本上就这些。Go的标准库足够支撑大多数批量文件处理场景，配合简单的并发控制，就能写出高效又稳定的工具。注意别忘了加日志和错误回收，生产环境尤其重要。
