Reduzieren Sie Methode beschäftigt sich mit gruppierten Daten aus der Karte. Aber ich frage mich, wie reduzieren Aufgaben die Gruppen Daten? Wenn Karten viele gruppierte Daten ausgeben, liest jeder Reduktor nur die gleiche Anzahl von Gruppen? Was ist der Mechanismus?Wie Hadoop reduzieren Aufgaben mit Karte gruppierten Daten umgehen
Wie reduzieren Aufgaben die Gruppen Daten?
Es auf Shuffle behandelt und Sortierphase
Während dieser phasedData die von Mapper werden durch Schlüssel (Wie Gruppe von (key)) gruppiert gesendet wird, schließlich erhält sie Schlüssel, List <> Ergebnis. Ergebnis wird an Reduzierstücke gesendet. Wenn Ergebnisse an verschiedene Reduzierungen gesendet werden müssen, wird auf die Partitionsphase geachtet, die eine andere Phase als die Shuffle- und Sort-Phase ist.
Diese Phase wird von Hadoop Framework durchgeführt und soweit ich weiß, haben Sie nichts zu tun oder zu ändern über diese Phase.
auch schlage ich bei dieser Frage einen Blick What is the purpose of shuffling and sorting phase in the reducer in Map Reduce Programming?