Iterator Verhalten in flink reduceGroup

Question

ich ein System erschaffe, die riesige Menge an Daten verarbeiten soll, und ich muss verstehen, wie die Gruppe Bediener reduzieren arbeitet

Ich habe einen Datensatz, wo ich eine groupby anwenden und anschließend eine reduceGroup Wie verhält sich der Iterator, der an die Funktion reduceGroup übergeben wird? ist es ein langsamer Iterator, der Daten lädt, wenn sie angefordert werden, oder ein eifriger Iterator, der alle Daten im Speicher vorbereitet, wenn er erstellt wird?

Ich bin mit dem scala api in flink 0,9 milestone1

Answer 1

Flink führt die Gruppe-by für eine groupReduce eine Art Operator. Der Sortieroperator erhält ein bestimmtes Speicherbudget für die Sortierung. Solange die Daten in dieses Budget passen, erfolgt die Sortierung im Speicher. Andernfalls wird die Sortierung zu einer externen Mischsortierung und wird auf die Festplatte ausgelagert. Flink liest den sortierten Datenstrom und wendet die groupReduce-Funktion "on-the-fly" an. Die Daten einer Gruppe werden nicht vollständig im Speicher gelesen, bevor die Funktion angewendet wird. Daher können Sie sehr große Gruppen verarbeiten, wenn die Benutzerfunktion selbst keine Gruppendatensätze materialisiert.