Spark Fix Task-Nummer für Funken Sql-Jobs

Question

Ich sehe, dass Apache Spark plant Reihe von Stufen mit einer festen 200 Aufgaben beteiligt. Da dies bei einer Reihe verschiedener Jobs immer wieder passiert, vermute ich, dass dies irgendwie mit einer Spark-Konfiguration zusammenhängt. Irgendwelche Vorschläge, was diese Konfiguration sein könnte?

Answer 1

200 ist eine Standardanzahl von Partitionen, die während der Mischvorgänge verwendet werden. Sie wird von spark.sql.shuffle.partitions gesteuert. Sein Wert kann zur Laufzeit festgelegt mit SQLContext.setConf:

sqlContext.setConf("spark.sql.shuffle.partitions", "42") 

oder RuntimeConfig.set

spark.conf.set("spark.sql.shuffle.partitions", 42)