Wie führe ich eine Union in Dataflow durch?

Question

Ich versuche, eine Union-Operation in Dataflow durchzuführen. Gibt es Beispielcode für die Vereinigung von zwei PCollections in Dataflow?

Answer 1

Eine einfache Möglichkeit wäre, Flatten() mit RemoveDuplicates() wie folgt zu kombinieren. Je nachdem, ob Sie die disjunkte Vereinigung oder mengentheoretische Vereinigung wollen, kann der RemoveDuplicates Aufruf weggelassen werden:

PCollection<String> pc1 = ...; 
PCollection<String> pc2 = ...; 
PCollection<String> union = PCollectionList.of(pc1).and(pc2) 
    .apply(Flatten.<String>create()) 
    .apply(RemoveDuplicates.<String>create()); 

Answer 2

Wenn Sie mehr als zwei Kollektionen, eine bequeme Lösung, die eine Liste von PCollection zu füllen ist, macht einen PCollectionList basierend darauf und die Flatten:

Hoffe, das hilft.