Ich versuche, diese Anweisungen zu folgen, um Protokollierungsprotokolle mit Spark Oozie Aktion zu aktivieren. https://archive.cloudera.com/cdh5/cdh/5/oozie/DG_SparkActionExtension.htmlSpark History Logs sind nicht aktiviert mit Oozie Spark Aktion in Cloudera
Um sicherzustellen, dass Funkenjob in dem Spark-History Server zeigt, stellen Sie sicher, dass diese drei Spark-Konfigurationseigenschaften entweder in angeben Funken entscheidet sie mit --conf oder von oozie.service.SparkConfigurationService.spark.configurations
- spark.yarn.historyServer.address = http://SPH-HOST:18088
- spark.eventLog.dir = hdfs: // NN: 8020/user/Funken/applicationHistory
- spark.eventLog.enabled = true
Workflow-Defintion sieht wie folgt aus:
<action name="spark-9e7c">
<spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>yarn-cluster</master>
<mode>cluster</mode>
<name>Correlation Engine</name>
<class>Main Class</class>
<jar>hdfs://<MACHINE IP>:8020/USER JAR</jar>
<spark-opts> --conf spark.eventLog.dir=<MACHINE IP>:8020/user/spark/applicationHistory --conf spark.eventLog.enabled=true --conf spark.yarn.historyServer.address=<MACHINE IP>:18088/</spark-opts>
</spark>
<ok to="email-f5d5"/>
<error to="email-a687"/>
</action>
Wenn ich von einem Shell-Skript Verlaufsprotokolle testen korrekt protokolliert aber mit Oozie Aktionen Protokolle werden nicht korrekt protokolliert. Ich habe alle drei Eigenschaften festgelegt.
Hallo Bitte überprüfen Sie meine Antwort statt funken setzt versuchen Argumentation wie in meiner Antwort –
erwähnt passieren Wenn Sie mit der Antwort in Ordnung sind, bitte Flag-up „akzeptiert -von-Besitzer "Thx –
Vielen Dank für Ihre schnelle Antwort RamPrasad. Ich habe die Eigenschaften wie von Ihnen empfohlen im Konfigurationsbereich verschoben. Jetzt kann ich den Speicherort/user/spark/applicationHistory als .inprogress anmelden. Sie können jedoch immer noch keinen Protokolleintrag im Verlaufsserver sehen. – Alchemist