使用errgroup结合context统一管理批量任务错误,支持并发控制与超时取消,通过channel或互斥锁收集全部错误,确保程序健壮性与可观测性。

在Go语言中处理批量任务时,错误处理是一个关键环节。由于批量任务通常并发执行,如何收集和响应各个子任务的错误,直接影响程序的健壮性和可观测性。核心思路是:统一收集错误、控制并发、合理超时与恢复。
使用errgroup管理并发任务并收集错误
errgroup.Group 是处理批量任务错误的推荐方式,它基于 context 和 WaitGroup 封装,能自动传播第一个错误并取消其他任务。
示例:
package mainimport ( "context" "fmt" "time"
"golang.org/x/sync/errgroup")
立即学习“go语言免费学习笔记(深入)”;
func main() { ctx := context.Background() g, ctx := errgroup.WithContext(ctx)
tasks := []string{"task1", "task2", "task3"} for _, task := range tasks { task := task g.Go(func() error { return processTask(ctx, task) }) } if err := g.Wait(); err != nil { fmt.Printf("批量任务失败: %v\n", err) } else { fmt.Println("所有任务成功") }}
func processTask(ctx context.Context, name string) error { select { case
说明:
- 每个任务通过 g.Go() 启动,返回 error
- 任意一个任务返回非 nil 错误,g.Wait() 会立即返回该错误
- context 会自动取消其余正在运行的任务
收集所有错误而非仅第一个
有时需要知道所有任务的执行情况,包括全部错误信息。此时不能依赖 errgroup 默认行为,需手动聚合。
可通过带缓冲 channel 或互斥锁收集错误:
var mu sync.Mutex var errors []errorfor _, task := range tasks { task := task go func() { err := processTask(context.Background(), task) if err != nil { mu.Lock() errors = append(errors, err) mu.Unlock() } }() }
更安全的做法是使用 channel:
- 创建大小为任务数的 error channel
- 每个任务完成后发送 error(nil 表示成功)
- 主协程接收所有结果,判断是否有错误
控制并发数防止资源耗尽
大量任务同时运行可能导致内存或连接溢出。使用带缓冲的 channel 实现信号量控制并发。
示例:限制最多3个任务并发
semaphore := make(chan struct{}, 3)
var wg sync.WaitGroup
var mu sync.Mutex
var errors []error
for _, task := range tasks {
wg.Add(1)
go func(t string) {
defer wg.Done()
semaphore <- struct{}{}
defer func() { <-semaphore }()
err := processTask(context.Background(), t)
if err != nil {
mu.Lock()
errors = append(errors, err)
mu.Unlock()
}
}(task)
}
wg.Wait()
设置整体超时与上下文传递
批量任务应支持超时控制。通过 context.WithTimeout 可统一管理。
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()
// 将 ctx 传入每个任务
// 任务内部监听 ctx.Done() 并及时退出
这样即使某个任务卡住,整体也会在超时后中断。
基本上就这些。根据是否需要全部错误、是否限流、是否超时来组合使用 context、errgroup、channel 和 mutex。关键是避免遗漏错误,同时不引发资源竞争。










