Spark-Mesos-Cluster-Modus ist langsamer als der lokale Modus

Question

Ich übergebe das gleiche Jar, um mit dem lokalen Modus und Mesos-Cluster-Modus zu laufen. Und für einige genau dieselben Stufen gefunden, dauert der lokale Modus nur einige Millisekunden, um zu beenden, aber Cluster-Modus dauert Sekunden!

aufgeführt ist ein Beispiel: Stufe 659

lokaler Modus: Streaming Job von [Ausgabeoperation 1, Chargenzeit 17.45.50] Karte bei KafkaHelper.scala: 35 + Details 2016/

22.03 17.46.31 11 ms

Mesos Cluster-Modus: Streaming Job von [Ausgabeoperation 1, Chargenzeit 18.01.20] Karte bei KafkaHelper.scala: 35 + Details 2016/03/22 18:09:33 3 s

Und ich fand von Funken UI, dass Mesos Cluster-Modus wird konsequent 4 Sekunden dauern, um die ForeachRDD-Jobs zu beenden, warum ist das? Irgendwelche Befehle zum Senden von Befehlen können dabei helfen?

Vielen Dank im Voraus!

Answer 1

Dieses Verhalten hängt von mehreren Faktoren ab. Sie geben nicht an, welche Art von Job in welchem ​​Cluster-Modus ausgeführt wird und mit welchen Einstellungen. Wenn Spark nicht auf den Slaves installiert ist, wird ein Overhead angezeigt, da die Distribution heruntergeladen werden muss usw.

Darüber hinaus müssen die von Ihnen verwendeten Jars an die Executoren verteilt werden, was einige Zeit in Anspruch nehmen kann der Start auch.

Wie gesagt, das hängt davon ab wie Sie Spark auf Mesos ausführen.

Siehe

• http://spark.apache.org/docs/latest/running-on-mesos.html