Hadoop Umgebung ist Down

Question

Ich bin Student und Informatik zu tun. Als Teil meiner Forschung arbeite ich an der Hadoop-Umgebung. Die Person, die an dieser Forschung vor mir gearbeitet hat, hat 9 Datanode mit einem Namen-Knoten und einem Standby-Knoten konfiguriert. Wir haben unsere Netzwerkverkehrsdaten in der Struktur gespeichert und entwickle Strukturabfragen, um Netzwerkangriffe zu identifizieren. Die Person, die daran gearbeitet hat, ist schon von zu Hause weggegangen und arbeitet woanders und beschäftigt. So habe ich ein paar Fragen:

1) Wie kann ich die Architektur auf HDFS meiner Umgebung, d. h. wie die Maschinen verbunden sind, um diese Umgebung zu bauen. Welche Dienste für diese Umgebung sind auf welchen Rechnern installiert?

2) Jetzt haben wir 9 Daten in der Umgebung und mein Professor will die Daten reduzieren. Ihr Ziel ist es, in dieser Umgebung mit 2-3 (minimalen) Maschinen zu forschen.

3) Was ist die gute und einfache Quelle, um Verständnis über die Cloudera und Hadoop zu bekommen? Auch die Befehle, mit denen ein Dienst explizit gestartet und gestoppt werden kann.

4) Im Moment bin ich in cloudera manager nicht in der Lage, den Nameode Server, Secondary Datanode und einen weiteren zu starten. Ich stoppe alle Dienste in der Reihenfolge von Cloudera und jetzt in der Reihenfolge und in dieser Reihenfolge der HDFS-Dienst beginnt zuerst, so während es startet, gibt es die Fehlermeldung für Namenknoten Datenknoten und Datenknoten8.

habe ich versucht, mehrere Möglichkeiten, aber kein Glück. Bitte schlage mir ein paar Wege vor, wie ich Probleme lösen kann und gute Ressourcen (für Anfänger), ich kann mich darauf beziehen, mehr darüber zu erfahren.

Danke.

Answer 1

Es gibt mehrere Ressourcen zum Starten. Für alles Cloudera/CDH ist die Adresse Cloudera Documentation. Für Hadoop ist der Ort Hadoop Documentation. Jetzt, denke ich, ist das ein ziemlich großer Bissen, um zu kauen. Wenn Sie neu bei Hadoop sind, beginnen Sie am besten mit einem Buch, einer Einführung (ich kann keine empfehlen, da ich noch keine gelesen habe).

Für Ihr spezifisches Problem scheint es, dass einige Dienste nicht starten. Sie müssen sich die Protokolle der Dienste auf den jeweiligen Knoten ansehen. Ich kann Ihnen nicht sagen, wo diese Protokolle sind, weil es von Ihrer Verteilungsversion und abhängt, wie es konfiguriert wurde. Ich vermute, dass ein wichtiger Dienst nicht startet (wahrscheinlich HDFS, sieht so aus, als wäre nomenode nicht erreichbar) und dies führt dazu, dass jeder andere Dienst fehlschlägt. Hadoop Wiki hat eine troubsleshooting guide, versuchen Sie das zu verfolgen und sehen, ob es Ihnen hilft.

Wie für die Frage, wie Sie die Cluster-Größe anpassen, zuerst machen Sie es und läuft und dann darüber nachdenken, es zu ändern. Siehe Decommissioning and Recommissioning Hosts.