Ich sehe Hadoop Log-Ausgabe in Splunk. Ich möchte sehen, welche Tasten jedem Reduzierer zugeordnet sind. Werden diese Informationen von Hadoop protokolliert? Welche Schlüsselwörter sollte ich in meiner Abfrage verwenden, um die relevanten Protokollzeilen zu finden?Protokolliert Hadoop Schlüssel zu Reduziererzuordnungen?
Die kurze Antwort lautet: Nein, die Reduzierer protokollieren nichts, was mit verarbeiteten Schlüsseln oder Werten zusammenhängt.
In BigData ist keine gute Idee, diese Informationen zu protokollieren, da die Anzahl der Protokollzeilen sehr, sehr groß sein könnte.
Wenn Sie einige Tests mit geringer Datenmenge ausführen, können Sie einige System.out.println Zeilen in Ihren Reducer einbeziehen, aber achten Sie darauf, sie nicht zuzulassen, wenn Sie große Datenmengen verarbeiten.