php小编小新在这里给大家介绍一下Go语言中的Apache Beam左连接。Apache Beam是一种分布式数据处理框架，它提供了一种通用的编程模型，用于在不同的分布式数据处理引擎上执行批处理和流处理任务。而左连接是一种常见的数据处理操作，它可以将两个数据集按照某个键进行关联，返回左侧数据集中的所有记录，以及与之匹配的右侧数据集中的记录。本文将详细介绍Go语言中如何使用Apache Beam进行左连接操作。
问题内容
有没有简单的方法可以使用 go 执行 2 个 pcollection 的左连接？ 我发现 sql 连接仅在 java 中可用。
package main
import (
"context"
"flag"
"github.com/apache/beam/sdks/v2/go/pkg/beam"
"github.com/apache/beam/sdks/v2/go/pkg/beam/log"
"github.com/apache/beam/sdks/v2/go/pkg/beam/x/beamx"
)
type customer struct {
CustID int
FName string
}
type order struct {
OrderID int
Amount int
Cust_ID int
}
func main() {
flag.Parse()
beam.Init()
ctx := context.Background()
p := beam.NewPipeline()
s := p.Root()
var custList = []customer{
{1, "Bob"},
{2, "Adam"},
{3, "John"},
{4, "Ben"},
{5, "Jose"},
{6, "Bryan"},
{7, "Kim"},
{8, "Tim"},
}
var orderList = []order{
{123, 100, 1},
{125, 30, 3},
{128, 50, 7},
}
custPCol := beam.CreateList(s, custList)
orderPCol := beam.CreateList(s, orderList)
// Left Join custPcol with orderPCol
// Expected Result
// CustID | FName |OrderID| Amount
// 1 | Bob | 123 | 100
// 2 | Adam | |
// 3 | John | 125 | 100
// 4 | Ben | |
// 5 | Jose | |
// 6 | Bryan | |
// 7 | Kim | 125 | 100
// 8 | Tim | |
if err := beamx.Run(ctx, p); err != nil {
log.Exitf(ctx, "Failed to execute job: %v", err)
}
}
我想加入这 2 个 pcollection 并执行进一步的操作。我看到了有关 cogroupbykey 的文档，但无法将其转换为普通 sql join 可以执行的格式。
对此有什么建议吗？
解决方法
尝试这样
type resulttype struct {
custid int
fname string
orderid int
amount int
}
result := beam.pardo(s, func(c customer, iterorder func(*order) bool) resulttype {
var o order
for iterorder(&o) {
if c.custid == o.cust_id {
return resulttype{
custid: c.custid,
fname: c.fname,
orderid: o.orderid,
amount: o.amount,
}
}
}
return resulttype{
custid: c.custid,
fname: c.fname,
}
}, custpcol, beam.sideinput{input: orderpcol})
或者如果您想使用 cogroupbykey ...
custWithKeyPCol := beam.ParDo(s, func(c customer) (int, customer) {
return c.CustID, c
}, custPCol)
orderWithKeyPCol := beam.ParDo(s, func(o order) (int, order) {
return o.Cust_ID, o
}, orderPCol)
resultPCol := beam.CoGroupByKey(s, custWithKeyPCol, orderWithKeyPCol)
beam.ParDo0(s, func(CustID int, custIter func(*customer) bool, orderIter func(*order) bool) {
c, o := customer{}, order{}
for custIter(&c) {
if ok := orderIter(&o); ok {
fmt.Println(CustID, c.FName, o.OrderID, o.Amount)
}
fmt.Println(CustID, c.FName)
}
}, resultPCol) 
