Override hadoops mapreduce.fileoutputcommitter.marksuccessfuljobs in oozie

Question

<property> 
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> 
<value>false</value> 
</property> 

Ich möchte die obige Eigenschaft auf true überschreiben. Die Eigenschaft muss für den Rest der Jobs im Cluster falsch sein. In meinem Oozie-Workflow muss ich jedoch nach Abschluss des Jobs eine _SUCCESS-Datei im Ausgabeverzeichnis erstellen. Es ist eine Hive-Aktion im Workflow, der die Ausgabe schreibt. Bitte helfen Sie.

Answer 1

Hive überschreibt leider diese Fähigkeit durch seine eigene NullOutputComitter Einstellung:

conf.setOutputCommitter(NullOutputCommitter.class); 

siehe

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java 
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java 

Sieht aus wie Sie manuell die Flagge erstellen müssen. Wir haben dafür HIVE-3700 hinterlegt.

Answer 2

Ich stieß auf das gleiche Problem und endete mit einer Shell-Aktion, um das Flag zu erstellen.

Hier ist ein vollständiges Beispiel: http://nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/

Answer 3

Sie können 'dfs' Befehl in Ihre hive Skript schreiben,

dfs -touchz '$table_base_path'/dt='${partition}'/_SUCCESS

https://archive.cloudera.com/cdh4/cdh/4/hive/language_manual/cli.html