Was sind die Spark-Transformationen, die einen Zufall verursachen?

Question

Ich habe Schwierigkeiten, in den Spark-Dokumentationsoperationen zu finden, die eine Zufallswiedergabe verursachen und die Operation nicht. Welche verursacht in dieser Liste einen Shuffle und welche nicht?

Karte und Filter nicht. Bei den anderen bin ich mir jedoch nicht sicher.

map(func) 
filter(func) 
flatMap(func) 
mapPartitions(func) 
mapPartitionsWithIndex(func) 
sample(withReplacement, fraction, seed) 
union(otherDataset) 
intersection(otherDataset) 
distinct([numTasks])) 
groupByKey([numTasks]) 
reduceByKey(func, [numTasks]) 
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks]) 
sortByKey([ascending], [numTasks]) 
join(otherDataset, [numTasks]) 
cogroup(otherDataset, [numTasks]) 
cartesian(otherDataset) 
pipe(command, [envVars]) 
coalesce(numPartitions) 

Answer 1

Es ist eigentlich extrem einfach, dies herauszufinden, ohne die Dokumentation. Für jede dieser Funktionen erstellen Sie einfach eine RDD und rufen Sie die Debug-Zeichenfolge, hier ist ein Beispiel können Sie den Rest auf ur eigene tun.

scala> val a = sc.parallelize(Array(1,2,3)).distinct 
scala> a.toDebugString 
MappedRDD[5] at distinct at <console>:12 (1 partitions) 
    MapPartitionsRDD[4] at distinct at <console>:12 (1 partitions) 
    **ShuffledRDD[3] at distinct at <console>:12 (1 partitions)** 
     MapPartitionsRDD[2] at distinct at <console>:12 (1 partitions) 
     MappedRDD[1] at distinct at <console>:12 (1 partitions) 
      ParallelCollectionRDD[0] at parallelize at <console>:12 (1 partitions) 

So wie Sie sehen können distinct erzeugt einen Shuffle. Es ist auch besonders wichtig, diesen Weg zu finden, anstatt Dokumente zu schreiben, da es Situationen gibt, in denen ein Mischen für eine bestimmte Funktion erforderlich oder nicht erforderlich ist. Zum Beispiel benötigt join normalerweise einen Shuffle, aber wenn Sie zwei RDDs beitreten, kann der Zweig vom selben RDD Funke manchmal den Shuffle ausgleichen.

Answer 2

Dies kann hilfreich sein: https://spark.apache.org/docs/latest/programming-guide.html#shuffle-operations

oder dies: http://www.slideshare.net/SparkSummit/dev-ops-training, mit Rutsche 208

von Folie starten 209: "Transformationen, die 'numPartitions' wie verschiedene verwenden wahrscheinlich Shuffle"

Answer 3

Hier ist eine Liste von Operationen, die möglicherweise verursachen eine Shuffle:

cogroup

groupWith

join: Hash-Partition

leftOuterJoin: Hash-Partition

rightOuterJoin: Hash-Partition

groupByKey: Hash-Partition

reduceByKey: Hash-Partition

combineByKey: Hash-Partition

sortByKey: range Trennwand

distinct

intersection: Hash-Partition

repartition

coalesce

Quelle: Big Data Analysis with Spark and Scala, Optimierung mit Trennwänden, Coursera

Answer 4

Hier ist die verallgemeinerte Aussage über schlurfende Transformationen.

Transformationen, die einen Shuffle umfassen repartition Operationen wie repartition und coalesce verursachen kann, ‚ByKey Operationen (mit Ausnahme für das Zählen) wie groupByKey und reduceByKey und verbinden Operationen wie cogroup und join.

source