1. Zuhause
  2. Frage und Antwort
  3. Datanode und Nameode läuft, aber nicht in UI

Datanode und Nameode läuft, aber nicht in UI

2016-04-28 9 views
0

Ich habe einen kleinen Rückschlag in der Konfiguration meiner Master und Slave in Hadoop und ich habe sowohl meine Namenknoten und Datanode in Master und Slave und läuft.Datanode und Nameode läuft, aber nicht in UI

Die LiveNodes-Anzahl in der WebUI wird jedoch nicht angezeigt, aber die Knoten werden ausgeführt.

Ich habe bereits versucht, die Firewall zu deaktivieren und die Knoten formatiert, aber ich kann das gleiche nicht lösen.

Jede Hilfe würde sehr geschätzt werden !!!

Hier sind die Schnipsel:

Master:

JPS Befehlsausgabe:

5088 Jps

4446 NameNode

4681 SecondaryNameNode

Slave:

JPS Befehlsausgabe:

2478 Jps

2410 DataNode

[email protected]:/usr/local/hadoop/etc/hadoop$ $HADOOP_HOME/bin/hdfs dfsadmin -refreshNodes 
16/04/28 02:22:37 WARN ipc.Client: Address change detected. Old: hadoop-master/52.200.230.29:50077 New: hadoop-master/127.0.0.1:50077 
refreshNodes: Call From hadoop-master/127.0.0.1 to hadoop-master:50077 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

Logfile hadoop-slave-1:

2016-04-28 21:23:07,248 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:12,257 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:17,265 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:22,273 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:27,282 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:32,291 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000

Logfile Hadoop-Master:

2016-04-28 21:21:04,002 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 127.0.0.1 
2016-04-28 21:21:04,002 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Rolling edit logs 
2016-04-28 21:21:04,002 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Ending log segment 407 
2016-04-28 21:21:04,002 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 0 Number of transactions batched in Syncs: 0 Number of syncs: 2 SyncTimes(ms): 22 
2016-04-28 21:21:04,003 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 0 Number of transactions batched in Syncs: 0 Number of syncs: 3 SyncTimes(ms): 23 
2016-04-28 21:21:04,003 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /usr/local/hadoop/hadoop_data/hdfs/namenode/current/edits_inprogress_0000000000000000407 -> /usr/local/hadoop/hadoop_data/hdfs/namenode/current/edits_0000000000000000407-0000000000000000408 
2016-04-28 21:21:04,004 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Starting log segment at 409

netstat -pant Befehl auf meinem Herrn:

[email protected]:/usr/local/hadoop/etc/hadoop$ netstat -pant 
(Not all processes could be identified, non-owned process info 
will not be shown, you would have to be root to see it all.) 
Active Internet connections (servers and established) 
Proto Recv-Q Send-Q Local Address   Foreign Address   State  PID/Program name 
tcp  0  0 0.0.0.0:50070   0.0.0.0:*    LISTEN  21491/java 
tcp  0  0 0.0.0.0:22    0.0.0.0:*    LISTEN  - 
tcp  0  0 0.0.0.0:50077   0.0.0.0:*    LISTEN  - 
tcp  0  0 127.0.0.1:50078   0.0.0.0:*    LISTEN  21491/java 
tcp  0  0 0.0.0.0:9000   0.0.0.0:*    LISTEN  - 
tcp  0  0 0.0.0.0:50090   0.0.0.0:*    LISTEN  21726/java 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57225  ESTABLISHED 21491/java 
tcp  0  0 127.0.0.1:41471   127.0.0.1:50078   TIME_WAIT - 
tcp  0 124 172.31.63.189:22  128.235.8.68:56950  ESTABLISHED - 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57224  ESTABLISHED 21491/java 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57223  ESTABLISHED 21491/java 
tcp  0  0 172.31.63.189:22  128.235.8.68:57084  ESTABLISHED - 
tcp  0  0 172.31.63.189:22  58.218.204.215:39402 ESTABLISHED - 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57227  ESTABLISHED 21491/java 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57228  ESTABLISHED 21491/java 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57226  ESTABLISHED 21491/java 
tcp6  0  0 :::22     :::*     LISTEN  - 
tcp6  0  0 :::50077    :::*     LISTEN  - 
tcp6  0  0 :::9000     :::*     LISTEN  -

Quelle

2016-04-28 Harinarayanan Mohan

+0

Bitte fügen Sie einige Zeilen NameNode und DataNode Protokolle – neeraj

+0

Hallo, ich habe meine Frage mit den Log-giles bearbeitet –

+0

NameNode wie oben scheint. Aber Datenknoten können keine Verbindung zu Namenknoten herstellen. Hast du die Portnummer von nomenode geändert? Ich sehe 9000, während der Standardwert 8020 ist. Überprüfen Sie, ob alle Konfigurationen die richtige Adresse haben – neeraj

Antwort

0

Connection refused ich diesen Fehler von Ihrem Beitrag sehen kann. Ich denke, Sie müssen 3 Dinge tun

  1. stellen Sie sicher, 50077 Port wird durch einen Prozess hören und es ist Ihre hadoop Prozess
  2. sicherstellen, dass es den Zugang der Lage ist, einige Tools wie Telnet
  3. neben Firewall. selinux kann auch den Zugriff beeinflussen. So ist es heruntergefahren und starten Sie den Dienst und versuchen Sie es erneut

Quelle

2016-04-28 02:43:34

 Verwandte Themen

  • Keine verwandten Themen^_^