Wie lautet die Architekturentscheidung für die Verwendung des Verzeichnisses/tmp in Hadoop?

Question

Was ist das Konzept der Verwendung /tmp Ordner in hadoop oder was ist die architektonische Entscheidung für die Verwendung /tmp Ordner. Warum werden Daten nicht direkt direkt in FSImage oder Editlog kopiert?

Answer 1

FSImage und das Editlog sind im RAM, wenn ich über diese richtig lese (link 1, link 2).

Die Top-Aspekte des /tmp Ordner könnte sein, dass es ...

• erhält nicht auf Cluster-Neustart
• ist nicht ein Trash-Verzeichnis
• keine Erlaubnis erzwingen betrachtet gelöscht Rechte wie diese Verzeichnisse im Home-Verzeichnis und kann daher zwischen den Prozessen
• bleibt als Teil der HDFS als verteilter Dateibereich

Abgesehen davon ist der Verwendungszweck wahrscheinlich ähnlich dem Anwendungsfall einer Unix-Umgebung.

Answer 2

Nun, der Hauptzweck des HDFS/tmp-Verzeichnisses ist das Speichern temporärer Dateien während der Map-Reduce-Ausführung.

Beim Ausführen der Map-Reduzierungsjobs werden viele temporäre Dateien erstellt, die temporär sind und nach Abschluss der Ausführung gelöscht werden.

Während fsimage enthält gesamten Dateisystem Namespace, einschließlich der Zuordnung von Blöcken zu Dateien und Dateisystemeigenschaften.
Und editlog repräsentieren alle Namensänderungen seit der Erstellung der fsimage.

/tmp Dateien werden nach Abschluss der Ausführung bereinigt.

Alle dienen unterschiedlichen Zwecken.