1. Zuhause
  2. Frage und Antwort
  3. Spark auf Mesos, wie man die Position des Treibers setzt

Spark auf Mesos, wie man die Position des Treibers setzt

2016-03-24 17 views
2

Ich habe Spark läuft auf Mesos in einem Cluster-Modus.Spark auf Mesos, wie man die Position des Treibers setzt

Wenn ich den Job übergebe, wird der Treiber zufällig auf allen Slave-Knoten ausgeführt. Gibt es eine Möglichkeit, den Standort des Treibers anzugeben? Für z.B. IP des Slave-I auf ausführen möchten ..

Kann ich spark.driver.host

dank verwenden,

Quelle

2016-03-24 Yogesh Nath

Antwort

1

Nr In cluster mode, das heißt, --deploy-mode cluster Option im ./bin/spark-submit Befehl, die Der Treiber wird auf einem Knoten im Cluster gestartet. Sie sollten nichtspark.driver.host und/oder spark.driver.port setzen, da dies programmgesteuert von SparkContext festgelegt wird.

Quelle

2016-03-25 18:58:55

+0

Danke Michael. Sieht so aus, als könnte es nicht gemacht werden. –

+0

OK. Dann würde ich mich freuen, wenn Sie diese Antwort als richtig markieren, damit auch andere davon profitieren. –

 Verwandte Themen

  • Keine verwandten Themen^_^