Go并发重试需解耦重试逻辑与调度:用context控制超时取消,指数退避避免雪崩;worker pool限并发防OOM;successCh/failCh分离结果。

用 Go 实现并发任务重试,核心是把“单个任务的重试逻辑”和“多个任务的并发调度”解耦,再用 channel + goroutine 控制节奏,避免盲目并发压垮下游。
重试逻辑:封装可中断、带退避的单次执行
每个任务应独立决定是否重试、何时重试。推荐用指数退避(exponential backoff),并支持最大重试次数和上下文超时:
- 用 context.Context 传递取消信号和超时控制,一旦父 context 被 cancel,所有重试立即停止
- 每次失败后等待时间按 2ⁿ × baseDelay 增长(如 100ms, 200ms, 400ms…),避免雪崩式重试
- 重试前检查 context.Err(),已超时或被取消就直接返回错误,不执行下一次
并发调度:用 worker pool 限制并发数,防资源耗尽
不要为每个任务起一个 goroutine —— 任务量大时会创建海量 goroutine,OOM 风险高。应使用固定数量的工作协程池:
- 启动 N 个长期运行的 goroutine(比如 5–20 个,视任务 I/O 特性调整)
- 用 channel 作为任务队列,投递任务即 send 到 channel;worker 从 channel receive 并执行带重试的逻辑
- 主 goroutine 可通过 close(channel) 优雅关闭 worker,或用 sync.WaitGroup 等待全部完成
结果收集:统一处理成功与失败,支持回调或聚合
并发执行后需知道哪些成功、哪些彻底失败。建议用两个 channel 分别接收结果:
立即学习“go语言免费学习笔记(深入)”;
- successCh chan Result:成功完成(含重试后成功)的任务结果
- failCh chan FailInfo:达到最大重试次数仍失败的任务信息(原始输入、最终错误、重试次数等)
- 主流程 range select 两个 channel,或用 goroutine 分别收集后合并统计,避免阻塞
简单示例结构(关键骨架)
以下不是完整代码,而是体现设计脉络的核心片段:
func NewRetryWorker(ctx context.Context, maxRetries int, baseDelay time.Duration) func(task Task) {return func(t Task) {
var err error
for i := 0; i if i > 0 {
select {
case default:
}
}
select {
case err = ctx.Err()
break
default:
err = t.Do()
}
if err == nil {
successCh return
}
}
failCh }
}
基本上就这些。重试不是越猛越好,关键是可控、可观察、可中断。Goroutine 轻量,但失控的并发比慢还危险。










