
Go并发编程中的WaitGroup与死锁现象
在go语言中,sync.waitgroup是管理并发任务的重要工具,它允许一个goroutine等待一组其他goroutine完成。通常,我们通过add()方法设置需要等待的goroutine数量,每个goroutine完成时调用done(),最后主goroutine通过wait()阻塞直到所有done()都被调用。然而,在使用waitgroup时,一个常见的陷阱是因其传递方式不当而引发死锁。
考虑以下一个尝试使用WaitGroup协调生产者(push)和消费者(pull)goroutine的例子:
package main
import (
"fmt"
"sync"
)
func push(c chan int, wg sync.WaitGroup) { // 注意:wg是值传递
for i := 0; i < 5; i++ {
c <- i
}
wg.Done() // 对wg的副本调用Done()
}
func pull(c chan int, wg sync.WaitGroup) { // 注意:wg是值传递
for i := 0; i < 5; i++ {
result, ok := <-c
fmt.Println(result, ok)
}
wg.Done() // 对wg的副本调用Done()
}
func main() {
var wg sync.WaitGroup
wg.Add(2) // 期望等待两个goroutine
c := make(chan int)
go push(c, wg) // 传递wg的副本
go pull(c, wg) // 传递wg的副本
wg.Wait() // 主goroutine等待原始wg
close(c) // 通常在所有生产者完成后关闭channel
}当运行上述代码时,程序会输出部分结果,然后抛出死锁错误:
0 true
1 true
2 true
3 true
4 true
throw: all goroutines are asleep - deadlock!
goroutine 1 [semacquire]:
sync.runtime_Semacquire(0x42130100, 0x42130100)
/usr/local/go/src/pkg/runtime/zsema_amd64.c:146 +0x25
sync.(*WaitGroup).Wait(0x42120420, 0x0)
/usr/local/go/src/pkg/sync/waitgroup.go:79 +0xf2
main.main()
/Users/kuankuan/go/src/goroutine.go:31 +0xb9
goroutine 2 [syscall]:
created by runtime.main
/usr/local/go/src/pkg/runtime/proc.c:221
exit status 2死锁原因分析:Go语言的值传递特性
这个死锁的根本原因在于Go语言中结构体(sync.WaitGroup是一个结构体)的默认传递方式是值传递。
- 副本创建: 在main函数中,我们声明了一个var wg sync.WaitGroup。当我们将wg作为参数传递给push和pull这两个函数时,Go语言会为这两个函数各自创建wg的一个副本。
- 操作副本: push和pull函数内部调用的wg.Done()操作的是它们各自收到的WaitGroup副本,而不是main函数中声明的原始wg实例。
- 原始WaitGroup状态不变: 由于Done()操作的是副本,main函数中的原始wg的内部计数器从未减少。它在wg.Add(2)之后,计数器一直保持为2。
- 无限等待: 当main函数执行到wg.Wait()时,它会无限期地等待原始wg的计数器归零。然而,由于所有Done()调用都作用于副本,原始wg永远无法达到计数器为零的状态。
- 所有goroutine休眠: push和pull goroutine在完成各自的任务后,它们对副本wg调用Done()并退出。此时,除了等待中的main goroutine,没有其他活跃的goroutine可以改变原始wg的状态。Go运行时检测到所有goroutine都已休眠且无法继续执行(即main goroutine在等待一个永远不会发生的事件),便会抛出“all goroutines are asleep - deadlock!”的死锁错误。
正确的解决方案:通过指针传递WaitGroup
为了解决这个问题,我们需要确保所有goroutine操作的是同一个WaitGroup实例。在Go语言中,实现这一目标的方法是通过指针传递WaitGroup。当传递指针时,我们传递的是内存地址,所有操作都会作用于该地址指向的同一个WaitGroup对象。
立即学习“go语言免费学习笔记(深入)”;
以下是修正后的代码示例:
package main
import (
"fmt"
"sync"
)
// push函数现在接收一个*sync.WaitGroup指针
func push(c chan int, wg *sync.WaitGroup) {
defer wg.Done() // 使用defer确保在函数退出前调用Done()
for i := 0; i < 5; i++ {
c <- i
}
// 在push完成后,我们通常会关闭channel,但这里为了演示WaitGroup,暂时不在push中关闭
// 如果需要关闭,应该在所有生产者完成后,且由一个专门的goroutine或主goroutine来完成
}
// pull函数现在接收一个*sync.WaitGroup指针
func pull(c chan int, wg *sync.WaitGroup) {
defer wg.Done() // 使用defer确保在函数退出前调用Done()
for i := 0; i < 5; i++ {
result, ok := <-c
if !ok { // 检查channel是否关闭
fmt.Println("Channel closed, no more data.")
break
}
fmt.Println(result, ok)
}
}
func main() {
var wg sync.WaitGroup
wg.Add(2) // 期望等待两个goroutine
c := make(chan int)
// 传递wg的地址(指针)给goroutine
go push(c, &wg)
go pull(c, &wg)
wg.Wait() // 主goroutine等待原始wg
close(c) // 所有goroutine完成后关闭channel,通知消费者
fmt.Println("All goroutines finished and channel closed.")
// 为了确保pull goroutine能接收到channel关闭信号并退出,
// 我们需要给pull goroutine足够的时间处理完所有数据并接收到关闭信号。
// 在实际应用中,pull goroutine通常会在channel关闭后自动退出其循环。
// 这里的例子中,由于pull循环次数固定,且push完成后channel才关闭,
// pull可能在channel关闭前就已经完成并调用了Done()。
// 更好的做法是,让pull goroutine循环直到channel关闭。
}代码改进说明:
- 函数签名修改: push和pull函数的wg参数类型从sync.WaitGroup改为了*sync.WaitGroup。
- 调用方式修改: 在main函数中,调用go push(c, &wg)和go pull(c, &wg),通过&操作符获取wg变量的内存地址并传递。
- defer wg.Done(): 在push和pull函数内部,使用defer wg.Done()确保无论函数如何退出(正常完成或发生panic),Done()都会被调用,从而正确地减少WaitGroup的计数器。
- Channel关闭时机: close(c)被移到wg.Wait()之后。这样可以确保所有生产者(这里只有一个push)都已完成其数据发送,并且WaitGroup已归零,此时关闭channel是安全的,可以通知消费者没有更多数据。
运行修正后的代码,将不再出现死锁,程序会正常执行并退出。
总结与最佳实践
- 结构体值传递: Go语言中,结构体默认是值传递。这意味着当你将一个结构体作为函数参数传递时,函数会收到该结构体的一个独立副本。对副本的任何修改都不会影响原始结构体。
- sync.WaitGroup的特殊性: sync.WaitGroup内部包含一个计数器,它的正确性依赖于所有操作都作用于同一个实例。因此,务必通过指针传递sync.WaitGroup给需要调用Add()或Done()的函数或goroutine。
- 其他并发原语: 类似地,sync.Mutex、sync.RWMutex等并发原语也通常需要通过指针传递,以确保所有goroutine操作的是同一个锁实例,否则将失去同步的意义。
- 使用defer: 在goroutine中使用defer wg.Done()是一个良好的实践,它能保证Done()在goroutine函数退出时被调用,即使函数提前返回或发生错误。
理解Go语言的值传递机制以及并发原语的正确使用方式,对于编写健壮、高效的并发程序至关重要。避免WaitGroup的值传递陷阱是Go并发编程中的一个基础且关键的知识点。










