Ist es möglich, Aufgaben auf dem Namenode auszuführen?

Question

Ich benutze Funken mit HDFS und Garn, also im Grunde Funken laufen auf Hadoop. Ich benutze den Garn-Client-Modus, um Aufgaben auf dem Cluster auszuführen. Standardmäßig werden die Aufgaben auf den Datenknoten des Clusters ausgeführt. Ich möchte aber auch, dass der namenode einige Aufgaben ausführt, da er ständig im Leerlauf ist. Also, ist es möglich, dass der namenode auch einige Aufgaben ausführt? Wenn das so ist, wie?

Answer 1

Genauer gesagt, Spark-Tasks werden nicht auf Datanodes ausgeführt. Beim Ausführen von Spark on Hadoop werden die Tasks auf den Nodemanagern ausgeführt, bei denen es sich um die Ausführungseinheiten in Hadoop-/Garncluster-Runniong auf jedem Slave-Knoten im Hadoop/Yarn-Cluster handelt. Aber im allgemeinen in Hadoop/Yarn Cluster an jedem Slave-Knoten sind die beiden Prozesse DataNode und NodeManager

Das Äquivalent NameNode (der Master von Datanodes) mit NodeManager der Resourcemanager ist (das ist der Meister nodemanagers)

Der Nameode/ResourceManager selbst konnte keine Task ausführen, sie sind nur die Master-Prozesse, die die Slaves (datanode bzw. nodemanagers) verwalten, es sei denn, Sie haben den nodemanager-Prozess auf demselben Host gestartet, auf dem der Nameode (oder ResourceManager) ausgeführt wird Wenn Sie mit NameNode den physischen Knoten meinen, an dem der Nameode-Prozess beginnt, können Sie dies tun, sobald Sie den Knoten starten Manager-Prozess auf diesem Knoten.