hadoop-streaming: Automatisieren Sie die Nachbearbeitung, sobald der Job abgeschlossen ist?

Question

Schritt 1 - Ich habe einen Hadoop-Streaming-Job, der variable Zeit basiert auf Datenmenge zu verarbeiten Schritt 2 - Sobald der Job fertig ist, muss ich importieren alle diese Daten-Dump in Mongodb und erstellen Sie eine flache csv Datei aus davon

Frage
gibt es eine Möglichkeit, 2 Step kleben kann Schritt 1 hadoop Streaming und vermeiden Schritt 2 manuell zu tun?

Answer 1

Ich würde empfehlen, etwas wie https://github.com/Yelp/mrjob oder https://github.com/klbostee/dumbo zu verwenden. Speziell für mrjob und Ihr Problem http://packages.python.org/mrjob/job.html#writing-multi-step-jobs