Running Shell-Skript von Oozie über Hue

Question

Ich bin ein Bash Shell-Skript mit Oozie Editor in Hue aufrufen.

verwenden ich die Schale Aktion im Workflow und versuchte unter verschiedenen Optionen in Shell-Befehl:

1. der Shell-Skript mit Uploaded
2. Gave Pfad lokalen Verzeichnisses ‚eine Datei auswählen‘, falls vorhanden, Shell-Skript
ist
3. Gave HDFS Pfad, in dem Shell-Skript vorhanden ist

Aber alle diese Optionen gab folgenden Fehler:

Cannot run program "sec_test_oozie.sh" (in directory "/data/hadoop/yarn/local/usercache/user/appcache/application_1399542362142_0086/container_1399542362142_0086_01_000002"): java.io.IOException: error=2, No such file or directory

Wie sollte ich den Shell-Skript-Ausführungsbefehl geben? Wo sollte sich die Shell-Skriptdatei befinden?

Answer 1

Haben Sie sec_test_oozie.sh mit dem Hue File Browser bearbeitet? Abhängig von Ihrer Hue-Version könnte es beschädigt sein: hue-list

Answer 2

Sie müssen Datei hinzufügen "sec_test_oozie.sh" in Oozie Shell-Schritt. In Dateien hinzufügen

Answer 3

Ich stieß auf das gleiche Problem, und das Problem war, dass das Skript einige irrelevante Zeile echote, während der Workflow versuchte, es als eine Eigenschaft Zeile zu analysieren. Oozie gab eine sehr irrelevante Fehlermeldung von java.io.IOException: error=2, No such file or directory, die nur Verwirrung verursachte.

1. Sie müssen <file> verwenden, um Ihr Skript hinzuzufügen.
2. Wenn Sie verwendet <capture-output/> dann müssen Sie sicherstellen, dass Ihr Skript druckt nur „Schlüssel = Wert“ Linien, wie Java-Eigenschaften, sonst werden Sie den Fehler erhalten Sie sehen java.io.IOException: error=2, No such file or directory mit einigen Weg zu zeigen .../yarn/local/usercache/...

Answer 4

I denke, Sie erstellen die Datei von Windows-Maschine, die zusätzliche Zeilenumbrüche Zeichen hinzufügen.Sie müssen die Shell-Skript-Datei in Unix-Format konvertieren.Ich konfrontiert auch das gleiche Problem.Dann erstellte ich die Datei von einem Linux-System und es begann zu arbeiten. Der Fehler ist irreführend.

Answer 5

"Keine solche Datei oder Verzeichnis" oozie kann die Datei nicht finden. Überprüfen Sie die Einstellung AddPath in dem Befehl.

In der Edit-Knoten Seciton, erhalten Sie die Oozie-Anwendung hdfs Pfad.

Laden Sie das Shell-Skript in hdfs oozie Anwendungspfad.

Geben Sie im Schritt "Oozie Edit Node" Shell-Befehl - den Namen des Shell-Skripts ein, der hochgeladen wird.

Darunter wäre die Option AddPath, dann Dateien hinzufügen, fügen Sie das Shell-Skript, das im hdfs-Pfad hochgeladen wurde.

Answer 6

Entfernen der #!/Bin/bash von meiner Shell-Skript half mir

Answer 7

ich die @SergioRG Antwort erweitern möchten. Oozie, zumindest mit Clouderas Hue-Schnittstelle, ist sehr kontraintuitiv.

1. die Datei auf dem HDFS-Dateisystem in einem Ordner zugänglich Oozie
2. die Datei in dem Shell-Befehlsfeld angezeigt werden soll:

   eine Skriptdatei ausführen zu können, sollten drei Bedingungen erfüllt sein

3. Die Datei sollte mit jeder anderen abhängigen Datei im Teil "Files +" der Taskkarte hinzugefügt werden.

Ich frage mich, warum sie nicht standardmäßig rufen die Skriptdatei hinzufügen, haben Sie.

Bearbeiten: Bitte überprüfen Sie auch erweiterte Optionen (den Gang in der linken oberen Ecke), wenn Sie die Pfadvariable einstellen müssen (zB PATH =/usr/local/bin:/usr/bin).