流水线模式是将数据处理任务分解为多个连续阶段，每个阶段由goroutine通过channel传递数据。例如：生成数字→平方→输出，实现高效解耦处理。
在Go语言中，goroutine 和 channel 是实现并发编程的核心工具。将它们结合使用可以轻松构建流水线（pipeline）模型，把数据处理流程拆分为多个阶段，每个阶段由一个或多个goroutine负责，通过channel连接各阶段，实现高效、解耦的数据流处理。
什么是流水线模式
流水线模式是指将一个复杂的数据处理任务分解为多个连续的阶段，每个阶段完成一部分工作，并将结果传递给下一阶段。这种模式类似于工厂中的装配线，数据像产品一样在各个工序间流动。
在Go中，每个阶段通常是一个函数，启动一个goroutine来运行，并通过channel接收输入、发送输出。
基本流水线结构
一个最简单的流水线包含三个部分：源头（source）、中间处理阶段（worker）、汇点（sink）。
立即学习“go语言免费学习笔记（深入）”；
以一个整数处理流水线为例：生成数字 → 平方 → 汇总输出。
func generator(nums ...int) <-chan int {
out := make(chan int)
go func() {
for _, n := range nums {
out <- n
}
close(out)
}()
return out
}
<p>func square(in <-chan int) <-chan int {
out := make(chan int)
go func() {
for n := range in {
out <- n * n
}
close(out)
}()
return out
}</p><p>func main() {
// 阶段1: 生成数据
source := generator(1, 2, 3, 4, 5)</p><pre class='brush:php;toolbar:false;'>// 阶段2: 处理数据（平方）
squared := square(source)
// 阶段3: 消费结果
for result := range squared {
<strong>fmt.Println(result)</strong>
}}
这个例子中：
-
generator启动一个goroutine，把输入的整数发送到channel -
square启动另一个goroutine，从输入channel读取数据并发送平方值到输出channel - main函数作为消费者，从最终channel读取并打印结果
多路复用与扇出/扇入
实际应用中，可以通过“扇出（fan-out）”提升处理能力：多个goroutine并行处理同一输入；再通过“扇入（fan-in）”合并多个输出。
例如，使用多个goroutine进行平方运算：
func squareFanOut(in <-chan int, workers int) <-chan int {
out := make(chan int)
<pre class='brush:php;toolbar:false;'>// 启动多个worker
for i := 0; i < workers; i++ {
go func() {
for n := range in {
out <- n * n
}
}()
}
// 单独goroutine关闭out（需等待所有worker结束）
go func() {
for i := 0; i < workers; i++ {
// 这里简化处理，实际应使用sync.WaitGroup
}
close(out)
}()
return out}
更完整的扇入实现：
func merge(cs []<-chan int) <-chan int {
var wg sync.WaitGroup
out := make(chan int)
<pre class='brush:php;toolbar:false;'>wg.Add(len(cs))
for _, c := range cs {
go func(ch <-chan int) {
for val := range ch {
out <- val
}
wg.Done()
}(c)
}
go func() {
wg.Wait()
close(out)
}()
return out}
注意事项与最佳实践
使用流水线时需要注意以下几点：
- 确保channel被正确关闭，避免死锁
- 消费者应始终处理完所有数据，防止goroutine泄漏
- 使用
sync.WaitGroup协调多个worker的退出 - 对可能阻塞的操作设置超时或使用context控制生命周期
- 避免在流水线中间阶段产生新的goroutine而不返回channel，导致失控
基本上就这些。Goroutine和channel组合让流水线实现变得简洁而强大，合理设计阶段划分和并发度，能有效提升程序性能和可维护性。
