mapreduce

1Hitze

1Antwort

Negative Array Size Exception beim Einfügen in Hive Bucketed Tabelle

Ich versuche, in eine Hive-Bucket-sortierte Tabelle einzufügen und mit einer Negative Array Size-Ausnahme, die vom Reducer ausgelöst wurde, zu hängen. Bitte finden Sie unten Stapelverfolgung. Error: o

0Hitze

2Antwort

Eine Datei zweimal mit verschiedenen Parametern lesen

Ich weiß, dass Sie zwei Mapper der gleichen Datei erzeugen können, wenn Sie die addinputpath -Funktion zweimal mit dem gleichen Pfad eingeben, aber ich möchte, dass die Datei jedes Mal etwas anders ve

0Hitze

1Antwort

Wann sollte ich Hive-Engine MR verwenden und wann TEZ?

Unter welchen Bedingungen ist es vorzuziehen, den Hive-Motor TEZ über MR zu verwenden? Was sind die Vor- und Nachteile von jedem?

0Hitze

1Antwort

multipleOutputs Fehler in der Methode addNamedOutput

Ich versuche multipleOutputs wie in diesem Beispiel zu verwenden here So habe ich: MultipleOutputs.addNamedOutput(job, "out1", TextOutputFormat.class, Text.class, Text.class); MultipleOutputs.addName

0Hitze

1Antwort

arbeitete ich auf Linux Command Line 'Kitt' mit und ich hatte dieses Problem

$ sqoop help Error: /home/hduser/sqoop/../hadoop-mapreduce does not exist! Please set $HADOOP_MAPRED_HOME to the root of your Hadoop MapReduce installation.

0Hitze

2Antwort

Laufender Code, nachdem alle Reduzierungen laufen

Ich versuche, ein mapreduce Programm zu schreiben, das einen Durchschnitt einiger Statistiken berechnet. Die Mapper lesen die Daten in ihrem jeweiligen Segment und führen einige Filter aus. Ich verwen

0Hitze

2Antwort

MapReduce Shuffle Phase Flaschenhals

Ich lese das ursprüngliche MapReduce-Papier. Mein Verständnis ist, dass bei der Arbeit mit, sagen wir Hunderte von GBs Daten, die Netzwerkbandbreite für die Übertragung von so vielen Daten den Engpass

0Hitze

2Antwort

Verwenden Sie eine Ansicht, um das gleiche Suffix wie maindomain name

Ich habe einige Dokumente, wie Sie eine Ansicht verwenden können, um das Dokument, das den gleichen Domänennamen für ihre E-Mail-Adresse haben. Wie alle Dokumente mit @ gmail.com oder @ yahoo.com, wen

0Hitze

1Antwort

ist es eine gute Idee, Getter/Setter-Methoden zu verwenden, um die Java-Objekte in Writeable Objects einzubinden/auszupacken?

Genauer gesagt, in hadoop MapReduce-Programmen, wenn Sie benutzerdefinierte Klassen verwenden, muss die Klasse Writeable-Schnittstelle implementieren. und alle seine Mitglieder müssen beschreibbar sei

0Hitze

1Antwort

Wie zwei Linien in Schwein basierend auf dem angegebenen Format zu kombinieren?

Ich versuche, eine Datei zu verarbeiten. ab sofort bekomme ich die Ausgabe wie unten gezeigt. input file:- c=1,2,3 a,b,c,d,a d,e,f g,h,i,i c=2,3,4 j,k,l m,n,a,h c=3,2,5 d,g,a s,fs,a e