hadoop-streaming

0Hitze

1Antwort

MRJob gleichen Schlüssel wird an verschiedene Reduzierungen gesendet

So habe ich Hadoop 2.7.1 auf einem 3-Rechner-Cluster installiert. Ich versuche, einen MapReduce-Job mit invertiertem Index mithilfe von MRJob und Hadoop Streaming auszuführen. Hier ist meine Konfigura

0Hitze

1Antwort

Wie man die Kodierung einer Datei von 'application/octet-stream' in 'text/plain' in hadoop hdfs ändert

Ich benutze Azure Blob Speicher als meine hadoop hdfs Dateiverzeichnis. Wenn ich die Eingabedatei vom lokalen Computer über die Eingabeaufforderung an den Azure Blob-Speicher übergebe, wird der Inhalt

0Hitze

1Antwort

Wie grep in Dataset auf hdfs mit Hadoop-Streaming

Ich habe einen großen Datensatz in hdfs liegen und ich möchte einige Begriffe aus ihm grep. Was ist der Haddop-Streaming-Befehl für dasselbe? (Siehe I don t PIG verwenden möchten)

0Hitze

2Antwort

Ist es möglich, Json in der externen Hive-Tabelle zu komprimieren?

Ich möchte wissen, wie Json-Daten in der externen Hive-Tabelle zu komprimieren. Wie kann es gemacht werden? Ich habe externe Tabelle erstellt wie folgt aus: CREATE EXTERNAL TABLE tweets ( id BIGINT,cr

1Hitze

1Antwort

ContainerRequestState [INFO] Keine ausstehenden Anforderungen mehr in der Warteschlange

Ich verwende einen MapR (YARN) Cluster mit 3 Knoten. Ich versuche, 6 Samza-Jobs im Cluster für die Verarbeitung von Datenströmen bereitzustellen. Alle Jobs sind korrekt. Ich habe versucht, 2-3 paralle

0Hitze

1Antwort

Wie StreamXmlRecordReader verwenden single & mehrzeilige xml Datensätze innerhalb einer einzigen Datei

ich eine Eingabedatei (txt), wie unten <a><c>val1</c></a>||<a><c>val2</c></a>||<a> <c>val3</c></a>||<a><c>val4-c-1</c><c>val4-c-2</c><d>val-d-1</d></a> haben zu analysi

0Hitze

2Antwort

Kann ich beim Hadoop-Streaming Dateien auf die lokale Disc im Reducer schreiben?

Kann ich beim Hadoop-Streaming Dateien auf die lokale Disc im Reducer schreiben? Zum Beispiel in den Druckminderer von C++, wenn ich Code ofstream fout(***); fout << "asdf"; Does this Sinn? Und wo

0Hitze

1Antwort

Distributing Hadoop Streaming Ausgabedateien auf Basis von Keys

ich eine Mapperfunktion geschrieben haben, die die XML und gibt das Ergebnis als Spalten separted durch „\ t“, wie unten dargestellt Name Age ABC 23 XYZ 24 ERT 25 Mit dem Hadoop Streaming-Code pa

-2Hitze

1Antwort

Ich suche nach HDFS-Fehlern. Dazu brauche ich HDFS-Logs. Wo kann ich die Protokolle herunterladen?

2Hitze

1Antwort

stateful und zustandslose Streaming-Verarbeitung

Während ich anfange, Streaming-Verarbeitung zu lernen, höre ich die folgenden zwei technische Elemente: Stateful Streaming-Verarbeitung und statusfreie Streaming-Verarbeitung, was sind die Unterschied