Kann Beispielfunkenauftrag mit oozie

Question

nicht ausführen Ich versuche, Oozie auf einem CDH 5.7 Cluster einzurichten. Ich habe alles installiert und konfiguriert, indem ich die Schritte in cloudera-Dokumentation ausgeführt habe. Schließlich habe ich oozie-examples.tar.gz extrahiert, in hdfs eingegeben und versucht, einige Beispiele zu erstellen. MR Beispiel läuft gut, aber der Funke eine schlägt mit dem folgenden Fehler:

Resource hdfs://cluster/user/hdfs/.sparkStaging/application_1462195303197_0009/oozie-examples.jar changed on src filesystem (expected 1462196523983, was 1462196524951

Der Befehl, den ich verwendet, um das Beispiel auszuführen war:

oozie job -config /usr/share/doc/oozie/examples/apps/spark/job.properties -run 

Der Inhalt job.properties:

nameNode=hdfs://cluster:8020 
jobTracker=aleo-master-0:8021 
master=yarn-cluster 
queueName=default 
examplesRoot=examples 
oozie.use.system.libpath=true 
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/spark 

Und workflow.xml:

<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkFileCopy'> 
<start to='spark-node' /> 

<action name='spark-node'> 
    <spark xmlns="uri:oozie:spark-action:0.1"> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <prepare> 
      <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark"/> 
     </prepare> 
     <master>${master}</master> 
     <name>Spark-FileCopy</name> 
     <class>org.apache.oozie.example.SparkFileCopy</class> 
     <jar>${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/oozie-examples.jar</jar> 
     <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/input-data/text/data.txt</arg> 
     <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark</arg> 
    </spark> 
    <ok to="end" /> 
    <error to="fail" /> 
</action> 

<kill name="fail"> 
    <message>Workflow failed, error 
     message[${wf:errorMessage(wf:lastErrorNode())}] 
    </message> 
</kill> 
<end name='end' /> 

Version Informationen:

1. Funken 1.6.0
2. Oozie 4.1.0-cdh5.7.0

hat dieses Problem jemand gesehen? Ich habe auch versucht, SparkPi mit meiner eigenen Workflow-Definition auszuführen, aber das Ergebnis war das gleiche.

Vielen Dank für Ihre Hilfe!

Answer 1

Haben Sie versucht, den Funkenspeicherpfad zu bereinigen? Spark kopiert eine temporäre Kopie des angegebenen JAR in den hdfs-Pfad für die Bereitstellung und ist möglicherweise nicht in der Lage, zwei unterschiedliche JAR-Dateien mit demselben Namen darin zu unterscheiden.