Wie erneuere ich ein Delegationstoken für eine lange laufende Anwendung außer der im Hadoop-Cluster eingestellten Zeit

Question

Ich habe eine Apache Apex-Anwendung, die auf meiner Hadoop-Umgebung ausgeführt wird.

Ich habe kein Problem mit der Anwendung außer, dass es nach 7 Tagen versagt. Und ich erkannte, dass es wegen der Cluster-Level-Einstellung für jede Anwendung ist.

Gibt es eine Möglichkeit, ich kann die Delegation Token perodisch in bestimmten Abständen zu erneuern, um sicherzustellen, Job läuft kontinuierlich ohne Fehler !!

Ich könnte irgendwelche Ressourcen online finden für auf, wie man eine hdfs Delegation Token zu erneuern !! Kann jemand bitte dein Wissen teilen?

Answer 1

Das Problem wird in der Apex documentation erwähnt. Auch bietet es 2 Lösung im Detail. Nicht aufdringlich für das Hadoop-System wäre die Wahl des "Auto-Refresh-Ansatzes". Grundsätzlich müssen Sie die Keytab-Datei in HDFS kopieren und

<property> 
    <name>dt.authentication.store.keytab</name> 
    <value>hdfs-path-to-keytab-file</value> 
</property> 

in Ihrem dt-site.xml konfigurieren.

HTH