Kann ich beim Hadoop-Streaming Dateien auf die lokale Disc im Reducer schreiben?Kann ich beim Hadoop-Streaming Dateien auf die lokale Disc im Reducer schreiben?
Zum Beispiel in den Druckminderer von C++, wenn ich Code
ofstream fout(***);
fout << "asdf";
Does this Sinn? Und wo wird die Datei erstellt von fout sein?
Hadoop-Streaming verwendet den Hadoop OutputFormatters wie TextOutputFormat. Eine andere Möglichkeit, ein bestimmtes Ausgabeverhalten zu erhalten, als die integrierten Formate, besteht darin, ein benutzerdefiniertes Ausgabeformat zu schreiben und die Methode zu überschreiben.
Ich bin mir nicht sicher, wenn das Schreiben auf die lokale Festplatte direkt von der Reduzierung funktionieren würde, könnte es in Ordnung sein. Du müsstest es versuchen. Das Hauptproblem dabei ist, dass Sie in einem Cluster nicht wissen, auf welchen Knoten die Reduzierungen ausgeführt werden, und Sie verlieren die Zuverlässigkeit, die HDFS bietet.
Reducer kann nicht direkt in lokale fs schreiben, wenn fs.default nicht file: /// in hdfs-site.xml ist. Standardmäßig speichert der Reducer die Ausgabe in diesem Dateisystem, das in hdfs-site.xml bereitgestellt wird.