Cluster-Erstellung - AWS - EMR - *: 9000 bei Verbindungsausnahme fehlgeschlagen: java.net.ConnectException: Verbindung verweigert;

Question

Ich habe vor ein paar Wochen damit begonnen, Tests an der aws emr durchzuführen, aber ich habe ein zufälliges Problem. Ich starte einen Cluster von Konsole wie folgt:

Und der Cluster startet erfolgreich. Ich kann mich über den Master-DNS-Namen in den Master einloggen. Die Probleme kommen, wenn ich einen grundlegenden Betrieb auf dem Cluster zu tun, wie diese:

hdfs dfsadmin -report 

Die Hälfte der Zeit, die Cluster eine Ausnahme wie diese werfen:

Call From ip-172-31-29-147.sa-east-1.compute.internal/172.31.29.147 to ip-172-31-29-147.sa-east-1.compute.internal:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 

Soweit ich weiß, Ich benutze den Cluster "wie er ist", ohne größere Änderungen daran, also sollte dieser Befehl immer funktionieren, oder?

Answer 1

Es scheint nur eine Frage der Zeit zu sein. Wenn der Cluster gestartet wurde,

hdfs dfsadmin -report 

hat nicht funktioniert. Aber wenn wir etwas länger erwarten, klappt es ganz gut (wir können das durch jps beobachten).

Die Antwort von Amazon-Foren, die keine Informationen hinzugefügt haben, nur vorschlagen, um den Typ des Clusters, den ich verwendete, here.