Hadoop dfs Fehler: INFO ipc.Client: Retrying Verbindung zum Server: localhost

Question

I a Hadoop Cluster mit 6 Knoten (Master, Salve < 1-5>)

• Formatierte der NameNode erfolgreich eingerichtet haben -> getan
• Inbetriebnahme und Cluster herunterzufahren -> funktioniert
• Executing "hadoop dfs -ls /" gibt diesen Fehler ->Fehler: INFO ipc.Client: Neuer Versuch Verbindung zum Server: localhost

Ich habe versucht, die Dienste laufen, um zu sehen:

sudo netstat -plten | grep java 
hduser@ubuntu:~$ sudo netstat -plten | grep java 

tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1000 93307 11384/java
tcp 0 0 0.0.0.0:44440 0.0.0.0 : *
tcp 0 0 0.0.0.0:40633 0.0.0.0:* LISTEN 1000 92909 11758/java
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 1000 93449 11571/java 1000 92.491 11571/java LISTEN
tcp 0 0 0.0.0.0:50075 0.0.0.0:* HÖREN 1000 93673 11571/java
tcp 0 0 0.0.0.0:50020 0.0.0.0: * LISTEN 1000 93692 11571/java
tcp 0 0 127.0.0.1:40485 0.0.0.0:* 1000 93666 12039/java
tcp 0 0 0.0.0.0:44582 0.0.0.0:* LISTEN 1000 93013 11852/java
LISTEN tcp 0 0 10.42.43.1:54310 0.0.0.0:* LISTEN 1000 92.471 11384/java
tcp 0 0 10.42.43.1:54311 0.0.0.0:* LISTEN 1000 93290 11852/java
tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 1000 93460 11758/java
tcp 0 0 0.0.0.0:34154 0.0.0.0:* LISTEN 1000 92179 11384/java
tcp 0 0 0.0.0.0:50060 0.0.0.0:* LISTEN 1000 94200 12039/java
tcp 0 0 0.0.0.0:50030 0.0.0.0:* 1000 LISTEN 93550 11852/java

Sein der Master IP binded Port 54310 und 54311 und nicht den Localhost (Loopback).

der Conf-site.xml richtig konfiguriert wurde:

<configuration> 
<property> 
<name>hadoop.tmp.dir</name> 
<value>/home/hduser/hadoop/tmp</value> 
</property> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://master:54310</value> 
</property> 
</configuration> 

Warum wird erwartet, dass es localhost 54310 binded werden anstatt der Master hich ich hier konfiguriert haben. Hilfe geschätzt. Wie löse ich das? Offenbar

Prost

Answer 1

, jemand hinzugefügt, um die ältere hadoop (1.0.3) ist-Verzeichnis in die Pfadvariable, bevor ich das neue hadoop (1.0.4) ist-Verzeichnis hinzugefügt hatte. Und so, wann immer ich "hoodoop" vom CLI lief, führte es die Binaries des älteren Hadoops statt des neuen aus.

Lösung:

• Entfernen Sie den gesamten bin Pfad älterer hadoop

• Shutdown Cluster - Ausfahrt Terminal

• Anmeldung in neue Terminalsitzung

• Startknoten

• Versucht hadoop dfs -ls / -> Funktioniert gut !!!! Gute Lektion gelernt.

Answer 2

Sieht aus wie viele Menschen in dieses Problem geraten.

Möglicherweise müssen Sie/etc/hosts nicht ändern und sicherstellen, dass Sie auf Master und Slave zugreifen können, und Ihre core-site.xml sind die gleichen, die auf den richtigen Master-Knoten und die richtige Portnummer verweisen.

Führen Sie dann $ HADOOP/bin/stop-all.sh, $ HADOOP/bin/start-all.sh NUR auf dem Master-Knoten aus. (Wenn Run on Slave kann zu Problemen führen). Überprüfen Sie mit JPS, ob alle Dienste wie folgt vorhanden sind.

auf Master-Knoten: 4353 DataNode 4640 Jobtracker 4498 SecondaryNameNode 4788 Tasktracker 4989 Jps 4216 NameNode

Slave-Knoten: 3143 Jps 2827 DataNode 2960 Tasktracker

Answer 3

Zusätzlich Überprüfen Sie Ihre Firewall-Regeln zwischen Namenknoten und Datenknoten