Verbindung verweigert, wenn SparkPi lokal ausgeführt wird

Question

Ich versuche, eine einfache Ausführung des SparkPi-Beispiels auszuführen. Ich begann den Meister und ein Arbeiter, ausgeführt dann den Job auf meinem lokalen „Cluster“, aber am Ende immer eine Folge von Fehlern alle endend mit

Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398 

ursprünglich habe ich versucht, mein Herr und Arbeiter ohne Konfiguration ausgeführt wird, aber am Ende mit dem gleichen Fehler. Ich habe versucht, zu 127.0.0.1 zu wechseln, um zu testen, ob es vielleicht nur ein Firewall-Problem war, da der Server von der Außenwelt blockiert ist.

Mein conf/spark-conf.sh enthält folgende Komponenten:

export SPARK_MASTER_IP=127.0.0.1 

Hier ist die Reihenfolge und die Befehle, die ich laufen:

1) sbin/start-master.sh (Master)

2) bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 --ip 127.0.0.1 --port 1111 (in einem anderen zu starten Sitzung auf der gleichen Maschine, um den Slave zu starten)

3) bin/run-example org.apache.spark.examples.SparkPi spark://127.0.0.1:7077 (in einer anderen Sitzung am die gleiche Maschine, um den Job zu starten)

Ich finde es schwer zu glauben, dass ich genug gesperrt bin, dass das lokale Ausführen Probleme verursachen würde.

Answer 1

Es sieht so aus, als sollten Sie SPARK_MASTER_IP nicht auf eine Loopback-Adresse 127.0.0.1 setzen. Der Worker-Knoten kann keine Verbindung zum MASTER-Knoten mithilfe einer Loopback-Adresse herstellen.

Sie müssen es in conf/spark-env.sh auf eine gültige lokale IP-Adresse (z. B. 192.168.0.2) setzen und die IP des Arbeiters in der Konfigurationsdatei conf/slaves sowohl in MASTER als auch im WORKER-Knoten hinzufügen.

Dann können Sie den Cluster mit sbin/start-all.sh starten.

Und dann ausführen "bin/run-Beispiel org.apache.spark.examples.SparkPi"