Was ist ein Glom ?. Wie unterscheidet es sich von mapPartitions?

Question

Ich bin über die glom() Methode auf RDD gestoßen. Gemäß der Dokumentation

Return ein RDD erstellt, indem alle Elemente innerhalb jeder Partition in ein Array koaleszierende

Hat glom die Daten über die Partitionen mische oder ist es nur die Partitionsdaten als ein Array zurückgeben? Im letzteren Fall, glaube ich, dass die gleichen mapPartitions Verwendung erreicht werden kann.

Ich würde auch gerne wissen, ob es irgendwelche Anwendungsfälle gibt, die von glom profitieren.

Answer 1

Hat glom die Daten auf Partitionen

Nein mischt, es nicht

Wenn dies der zweite Fall ist, glaube ich, dass das gleiche mit mapPartitions erreicht werden kann

Es kann:

rdd.mapPartitions(iter => Iterator(_.toArray)) 

aber das gleiche gilt für alle nicht shuffling Transformation wie map, flatMap oder filter.

wenn es irgendwelche Anwendungsfälle gibt, die von glob profitieren.

Jede Situation, in der Sie auf Partitionsdaten in einem Formular zugreifen müssen, das mehr als einmal durchlaufen werden kann.