Wie ist die Beziehung zwischen der Anzahl der NodeManager und der Anzahl der DataNodes, so dass ich nicht über eine Ausnahme für den physischen Speicher hinaus für Container verfügen kann?Hadoop-Nummer des NodeManager und Anzahl der DataNodes-Relation
Node Manager und Datenknoten Korrelation
Es ist 1: 1 Korrelation zwischen der Anzahl der Knotenmanager und Datenknoten.
Hadoop ausgelegt ist, dass Compute (Node Manager) läuft so nah an Daten (Data-Knoten) wie möglich, um sicherzustellen, . Normalerweise werden Container für Jobs auf denselben Knoten zugewiesen, auf denen die Daten vorhanden sind.
Daher werden in einem typischen Hadoop-Cluster sowohl Datenknoten als auch Knotenmanager auf demselben Computer ausgeführt.
Speicher Ausgabe:
Normalerweise stellen Sie Speicherprobleme, wenn der Node Manager bezogenen Einstellungen in yarn-site.xml falsch sind.
Um die Einstellungen für den Node Manager richtig zu machen, können Sie die Antworten in diesem Link überprüfen: MapReduce job hangs, waiting for AM container to be allocated. Überprüfen Sie die in den Dateien yarn-site.xml und mapred-site.xml angegebenen Einstellungen.
die Stimmung von GARN Konfiguration Um zu verstehen, fand ich das eine sehr gute Quelle zu sein: http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html
Ihre Frage ist nicht klar. Was meinst du mit: "also kann ich nicht außerhalb der physikalischen Speicher gebundene Ausnahme für Container haben?" –
Dies ist der Fehler, dem ich begegne: Der Container läuft über die Grenzen des physischen Speichers hinaus. Aktuelle Nutzung: 170.2 MB von 170 MB physikalischem Speicher belegt; 778,4 MB von 357,0 MB virtuellem Speicher verwendet. Tötungsbehälter. Container getötet auf Anfrage. Exit-Code ist 143. Ich nehme an, es gibt eine mathematische Beziehung zwischen der Anzahl der Datanoden und der Nummer des NodeManager, so dass ich eine Anwendung ohne Fehler ausführen kann. –