Starten eines Funken-Programms mit Oozie-Workflow

Question

Ich arbeite mit einem Scala-Programm mit Spark-Pakete. Zur Zeit verwende ich das Programm mit dem Bash-Befehl vom Gateway: /home/spark/bin/spark-supply --master Garn-Cluster - Klasse "com.xxx.yyy.zzz" - Treiber-Java-Optionen "-Dyyy.num = 5" a.jar arg1 arg2

Ich würde gerne mit oozie arbeiten, um diesen Job zu erledigen. Ich habe ein paar Rückschläge:

Wo sollte ich die Spark-Submit ausführbare Datei? auf der hfs? Wie definiere ich die Funkenaktion? Wo sollen die --driver-java-Optionen erscheinen? Wie sollte die Oozie-Aktion aussehen? ist es ähnlich dem, der here erscheint?

Answer 1

Wenn Sie eine neue Version von genug Oozie haben, können Sie Oozie die Funken Aufgabe verwenden:

https://github.com/apache/oozie/blob/master/client/src/main/resources/spark-action-0.1.xsd

Andernfalls müssen Sie eine Java-Aufgabe auszuführen, die Funken nennen. Etwas wie:

<java> 
     <main-class>org.apache.spark.deploy.SparkSubmit</main-class> 

     <arg>--class</arg> 
     <arg>${spark_main_class}</arg> -> this is the class com.xxx.yyy.zzz 

     <arg>--deploy-mode</arg> 
     <arg>cluster</arg> 

     <arg>--master</arg> 
     <arg>yarn</arg> 

     <arg>--queue</arg> 
     <arg>${queue_name}</arg> -> depends on your oozie config 

     <arg>--num-executors</arg> 
     <arg>${spark_num_executors}</arg> 

     <arg>--executor-cores</arg> 
     <arg>${spark_executor_cores}</arg> 

     <arg>${spark_app_file}</arg> -> jar that contains your spark job, written in scala 

     <arg>${input}</arg> -> some arg 
     <arg>${output}</arg>-> some other arg 

     <file>${spark_app_file}</file> 

     <file>${name_node}/user/spark/share/lib/spark-assembly.jar</file> 
    </java>