Ich habe einen OOZIE-Scheduler und ich habe einige UNIX-Befehl darin geschrieben, die Dateien von einem Ordner in einen anderen Ordner in Unix-Box verschieben wird.oozie nicht unterstützt Unix-Datei verschieben Operationen innerhalb
Aber es funktioniert nicht in der OOZIE und jedes Mal werfen Fehler "Pfad nicht gefunden".
Bitte beachten Sie: Ich hadoop Muti-Knoten-Cluster
Wenn Sie ein Oozie Job bin mit laufen, intern wird es ein Karten reduziert Job und der Job wird auf einen des Datanodes laufen, wo es sieht in dieser bestimmte Datenknoten für die zu verschiebende Datei. Wenn dieser Datanode die Datei nicht enthält, wird der Pfad nicht gefunden.
Derselbe Code funktioniert auf einem einzelnen Cluster und nicht auf einem Cluster mit mehreren Knoten.
Sie können Hadoop-Befehle (copyFromLocal oder put) verwenden, um die Daten zu laden, oder Sie können Flume verwenden, um dieselben zu laden.
Der springende Punkt von Oozie ist, Ihren Job auf zufällige Knoten im Cluster auszuführen. Wenn Sie auf eine bestimmte * "Unix-Box" * abzielen, ist Oozie nicht die richtige Wahl. Benutze guten alten CRON. –