hadoop-streaming

0Hitze

1Antwort

hadoop-streaming: Automatisieren Sie die Nachbearbeitung, sobald der Job abgeschlossen ist?

Schritt 1 - Ich habe einen Hadoop-Streaming-Job, der variable Zeit basiert auf Datenmenge zu verarbeiten Schritt 2 - Sobald der Job fertig ist, muss ich importieren alle diese Daten-Dump in Mongodb un

python mongodb hadoop mapreduce hadoop-streaming 2012-04-03

---

1Hitze

1Antwort

Wie wird die maximale Anzahl von Reduzierungen pro Knoten im Hadoop-Streaming festgelegt?

Ich habe eine C++ basierte MapReduce Jobs und ich benutze Hadoop Streaming. Die maximale Anzahl von Reduzierern pro Knoten ist jedoch 7, selbst wenn ich sie in der Befehlszeilenkonfiguration auf 18 se

hadoop mapreduce hadoop-streaming 2012-04-08

---

6Hitze

2Antwort

Pass Verzeichnisse nicht Dateien zu hadoop-streaming?

In meinem Job muss ich viele historische Logsets analysieren. Einzelne Kunden (es gibt Tausende) möglicherweise Hunderte von Protokollunterverzeichnissen nach Datum ausgebrochen. Zum Beispiel: logs/Cu

hadoop hadoop-streaming 2012-04-10

---