Spark-Master-Maschine: 7077 nicht erreichbar

Question

Ich habe ein Spark Spark-Cluster, wo der Master-Knoten auch der Arbeiter-Knoten ist. Ich kann den Master von dem Treiber-Code-Knoten erreichen, und ich den Fehler:

14:07:10 WARN client.AppClient$ClientEndpoint: Failed to connect to master master-machine:7077

Der SparkContext in Treiber-Code-Knoten ist konfiguriert als: SparkConf conf = new SparkConf(true).setMaster(spark:master-machine//:7077);

I erfolgreich ping master-machine , aber ich kann nicht erfolgreich telnet master-machine 7077. Bedeutung der Maschine ist erreichbar, aber der Hafen ist nicht.

Was könnte das Problem sein? Ich habe die Firewall ufw von Ubuntu für Master-Knoten und Knoten deaktiviert, auf denen der Treibercode ausgeführt wird (Client).

Answer 1

Ihre Syntax etwas aus ist, Sie haben:

setMaster(spark:master-machine//:7077) 

Sie wollen:

setMaster(spark://master-machine:7077) 

von der Funken docs:

Once started, the master will print out a spark://HOST:PORT URL for itself, which you can use to connect workers to it, or pass as the “master” argument to SparkContext. You can also find this URL on the master’s web UI, which is http://localhost:8080 by default.

Sie können eine IP-Adresse verwenden in Auch dort habe ich Probleme mit debian-basierten Installationen, wo ich immer die IP-Adresse verwenden muss, aber das ist ein separates Problem. Ein Beispiel:

spark.master   spark://5.6.7.8:7077 

Aus configuration page in Spark docs