Wie wird die maximale Anzahl von Reduzierungen pro Knoten im Hadoop-Streaming festgelegt?

Question

Ich habe eine C++ basierte MapReduce Jobs und ich benutze Hadoop Streaming.

Die maximale Anzahl von Reduzierern pro Knoten ist jedoch 7, selbst wenn ich sie in der Befehlszeilenkonfiguration auf 18 setze wie mapred.tasktracker.reduce.tasks.maximum=18;

Wird der Reducer durch etwas anderes daran gehindert, mehr Aufgaben zu reduzieren?

Answer 1

Nachdem Sie die mapred.tasktracker.reduce.tasks.maximum-Eigenschaft geändert haben, starten Sie die Task-Tracker in Ihrem Cluster neu? Sie sollten in der Lage sein, auf die Job-Tracker-Web-UI-Seite zu gehen und zu bestätigen, dass jeder Task-Tracker jetzt 18 Reduziersteckplätze konfiguriert hat