Beispiel Oozie Job funktioniert von Hue, aber nicht von der Befehlszeile: SparkMain nicht gefunden

Question

Ich habe erfolgreich den Spark-Workflow ("Kopieren einer Datei durch Starten eines Spark Java-Programms") im Hue Oozie Workflow-Editor (in die Cloudera 5.5.1 QuickStart VM).

ich jetzt versuchen, es manuell mit dem oozie Kommandozeilen-Tool auszuführen:

oozie job -oozie http://localhost:11000/oozie -config job.properties -run 

Der Workflow XML ist im Grunde unverändert - ich habe es auf HDFS kopiert haben und die folgende job.properties:

nameNode=hdfs://localhost:8020 
jobTracker=localhost:8032 
oozie.wf.application.path=/user/cloudera/workflows/spark-scala/spark-scala.xml 
input=/user/hue/oozie/workspaces/data/sonnets.txt 
output=here 

Der Job wird angenommen und erscheint im Hue-Web-Dashboard, wird jedoch nach einigen Sekunden beendet und die Protokolle melden:

Launcher Ausnahme: java.lang.ClassNotFoundException: Klasse org.apache.oozie.action.hadoop.SparkMain nicht

gefunden Was ist das Problem hier?

Answer 1

Oozie nicht enthalten sind die Bibliotheken für die Spark-Aktion, die standardmäßig - Sie Folgendes der job.properties hinzufügen müssen:

oozie.use.system.libpath=true 

(Klick auf den zuvor erfolgreichen Hue Workflow im Hue Dashboard Sie kann die Registerkarte Konfiguration auswählen, um die Eigenschaften zu sehen, die der Farbton bereitgestellt hat)