Wie verhindert man, dass der Farbton im CDH den Jobverlauf beim Neustart löscht?

Question

Ich habe CDH 5.5.1 mit Hue, installiert Hadoop, Spark, Hive, Oozie, Yarn und ZooKeeper.

Wenn ich einen Spark Job oder MapReduce Job ausgeführt habe, zeigt Hue ein Problem in der Jobhistorie an. Das Problem ist, dass, wenn ich die CDH Dienste (nicht die physischen Knoten) neu starte, es alle Job-Historien entfernt, die vor dem Neustart waren.

auf Hadoop gibt es mehrere Dateien, die ich habe über die Aufgabeninformationen vermuten und vielleicht diejenigen, die die Job-Informationen halten sein. Ihre hadoop Wege sind:

• /tmp/logs/user/logs/
• /user/history/done/2016/

Ich habe es in der Cloudera Manager Konfigurationsseite sah, Hue Konfigurationsseite und einige Konfigurationsdateien ohne Erfolg. Ich weiß nicht, wie ich diese Entfernung verhindern kann. Fehle ich etwas?

Answer 1

Wenn Sie wirklich nur den Jobverlauf in einem Hadoop-Cluster anzeigen müssen, sollte der YARN-Verlaufsserver eine Historie aller auf dem Cluster ausgeführten YARN-Jobs haben.

Hue hat ein JIRA-Ticket für das von Ihnen beschriebene Problem mit dem Titel "Der Jobbrowser sollte mit dem YARN-Verlaufsserver sprechen, um alte Jobs anzuzeigen": https://issues.cloudera.org/browse/HUE-2558. Grundsätzlich muss Hue mit dem YARN History Server (nicht nur dem Resource Manager) kommunizieren, um die gesuchten Informationen zu erhalten.

Die gute Nachricht ist, dass die Aufgabe abgeschlossen und in die Veröffentlichung von Hue 4.0, die am 11.05.2017 aufgetreten ist, aufgenommen wurde. Die schlechte Nachricht ist, dass Cloudera noch kein Release mit dieser Version von Hue eingespielt hat.