Spark: Anzahl der Partitionen erhöhen, ohne einen Shuffle zu verursachen?

Question

Wenn die Anzahl der Partitionen verringert werden soll, kann coalesce verwendet werden, was großartig ist, da es kein Shuffle verursacht und augenblicklich sofort funktioniert (erfordert keine zusätzliche Job-Stufe).

Ich möchte manchmal das Gegenteil tun, aber repartition induziert einen Shuffle. Ich denke, dass ich vor ein paar Monaten funktionierte, indem ich CoalescedRDD mit balanceSlack = 1.0 verwendete - was passieren würde, wäre es eine Partition teilen würde, so dass die resultierenden Partitionen wo alle auf dem gleichen Knoten (so klein net IO).

Diese Art der Funktionalität ist in Hadoop automatisch, man optimiert nur die Split-Größe. Es scheint in Spark nicht so zu funktionieren, es sei denn, man verringert die Anzahl der Partitionen. Ich denke, die Lösung könnte sein, einen benutzerdefinierten Partitionierer zusammen mit einer benutzerdefinierten RDD zu schreiben, wo wir getPreferredLocations definieren ... aber ich dachte, das ist so eine einfache und übliche Sache, um sicher zu tun, muss es eine geradlinige Art, es zu tun?

Dinge versucht:

.set("spark.default.parallelism", partitions) auf meinem SparkConf, und wenn sie im Kontext des Lesens Parkett habe ich sqlContext.sql("set spark.sql.shuffle.partitions= ... versucht, die auf 1.0.0 einen Fehler verursacht und nicht wirklich wollen, ich will, ich will Partition Anzahl, die für alle Arten von Jobs geändert werden soll, nicht nur für das Mischen.

Answer 1

Dit Raum

https://issues.apache.org/jira/browse/SPARK-5997

Diese Art von wirklich einfach offensichtlichste Merkmal wird schließlich umgesetzt werden - ich denke nur, nachdem sie alle unnötigen Funktionen in Dataset s beenden.

Answer 2

Ich verstehe nicht genau, was Ihr Punkt ist. Meinst du, du hast jetzt 5 Partitionen, aber nach der nächsten Operation wollen Sie Daten auf 10 verteilt? Denn 10 zu haben, aber immer noch 5 zu verwenden macht wenig Sinn ... Der Prozess des Sendens von Daten an neue Partitionen muss irgendwann passieren.

Wenn coalesce tun, können Sie von unsued Partitionen entfernen, zum Beispiel: Wenn Sie zunächst 100 haben, dann aber nach reduceByKey Sie bekam 10 (wie dort, wo nur 10 Tasten), können Sie coalesce einstellen.

Wenn Sie den Prozess wollen den anderen Weg zu gehen, können Sie nur eine Art von Partitionierung erzwingen:

[RDD].partitionBy(new HashPartitioner(100)) 

Ich bin nicht sicher, dass das, was Sie suchen, aber die Hoffnung so.