Wie kann ich die folgenden Informationen zum Hadoop-Cluster erhalten? 1. NameNode und Jobtracker Name 2. Liste aller Knoten mit ihren Rollen auf dem ClusterNameode- und Jobtracker-Informationen zum Hadoop-Cluster
Ich benutze Cloudera-basierte Cluster und auch auf EMR arbeiten. In beiden Clustern kann ich die Informationen aus dem Konfigurationsverzeichnis finden. Um die namenode Informationen zu erhalten gehen Sie in die core-site.xml Datei und suchen Sie nach der fs.defaultFS als @ daemon12 sagte
Hier ist der direkte Weg, um es zu bekommen. Für NameNode Informationen cat /etc/hadoop/conf/core-site.xml | grep '8020'
Hier werden die folgenden Befehl ist das Ergebnis
<value>hdfs://10.872.22.1:8020</value> Die Werte innerhalb des Tag-Wert der Name Knoteninformationen ist.
Ähnlich die Jobtracker Informationen tun das unter
cat /etc/hadoop/conf/yarn-site.xml | grep '8032'
Hier das Ergebnis
<value>10.872.12.32:8032</value>
Wieder der Jobtracker Wert innerhalb des Werte Tag
zu bekommen ist.Im Allgemeinen werden die NN- und JT-Informationen zum Ausführen der Oozie-Jobs verwendet und diese Methode wird Ihnen zu diesem Zweck helfen.
DISCLAIMER: Ich bin das Ergebnis von cat auf der Grundlage der Namennode und Jobtracker Portnummer, die 8020 und 8032 ist. Dies sind weit verbreitete Ports für NN und JT in Hadoop. Wenn Ihre Organisation eine andere verwendet, verwenden Sie diese, um ein besseres Ergebnis zu erzielen.
Mit der Genehmigung korrekt erteilt, (wie sudo -u hdfs), können Sie versuchen:
hdfs dfsadmin -report
Zusammen mit dem Kommandozeilen-Weg, um Informationen zu bekommen, können Sie die ähnlichen Informationen im Browser erhalten auch:
http://<namenode>:50070 (For in general hadoop informtion)
http://<namenode>:50030 (For JobTracker related information)
Diese Standard-Ports sind. Sie können here für weitere Informationen überprüfen.
Wie bekommt man den
Werfen Sie einen Blick auf 'core-site.xml' in Ihrem hadoop Installationsordner. Sie werden eine Eigenschaft mit dem Namen 'fs.default.name' finden. Der Wert sollte Ihnen
Dies zeigt die IP-Adresse der Knoten im Cluster an. Wie bekomme ich die Hostnamen mit ihren Rollen im Cluster? –
Sie können zum Beispiel SSH zu diesen Servern und führen Sie einen JPS-Befehl (wieder mit den richtigen Rechten) und überprüfen Sie die Java-Prozesse ausgeführt: Sie sollten sehen, welche Hadoop-Server auf welchem Server laufen. Ich nehme an, Sie haben keinen Zugang zu einem GUI-Manager (wie Farbton, Cloudera Manager ...)? – tokiloutok