hadoop

2Hitze

3Antwort

Hadoop NoSuchMethodError apache.commons.cli

Ich benutze hadoop-2.7.2 und ich habe eine MapReduceJob mit IntelliJ. In meinem Job benutze ich apache.commons.cli-1.3.1 und ich lege die lib in das Glas. Als ich die MapReduceJob auf meinem Hadoop-Cl

1Hitze

1Antwort

Hive-basierte Data Warehousing-Task - Sequenznummer zu Datensätzen hinzufügen

Ich habe einen Anwendungsfall, in dem ich SQL-basierte Data Warehousing-Aktivitäten mithilfe von Hive implementieren muss. Die Software würde eine Reihe von CSV-Dateien generieren. Wenn es in die SQL-

-1Hitze

1Antwort

Warum wir RDD erstellen, um Daten in Hbase zu speichern? Gibt es andere Möglichkeiten, Daten in Hbase zu speichern?

Ich bin völlig neu in Bigdata, Hadoop und Spark. Ich bin von Java Hintergrund. Also versuche ich zu verstehen, warum Menschen immer RDD erstellt, um den Datensatz in HBASE zu speichern. Könnte mir jem

0Hitze

1Antwort

FROM_UNIXTIME denkt Datenkette ist, wo Daten int/Bigint in Hadoop Hive ist

Mein Code ist als unten .. SELECT to_date(from_unixtime(time_first_touch)) AS sDate FROM ( SELECT MIN(GET_JSON_OBJECT(swanviraw.textcol,'$.ev_time')) as time_first_touch, COUN

0Hitze

3Antwort

Ausführen von Hive-Abfrage auf spark - java.lang.NoClassDefFoundError org/apache/hive/spark/client/Job

Ich versuche, Hive auf Spark funktioniert ordnungsgemäß, aber es scheint, als würde es nicht laden die hive-exec-2.0.1 .Krug. Ich kann Hive auf Herrn bekommen, um völlig in Ordnung zu sein. Im mit Hiv

2Hitze

2Antwort

Ich habe 2 GB Webserver-Logs pro Tag produziert, wie man sie filtert?

Ich habe einen Webserver, auf den andere Sites mit einigen GET-Parametern umleiten. Meine Situation: Derzeit habe ich 2 GB Web-Server-Protokolle jeden Tag produziert. Ich muss die Protokolle für minde

0Hitze

1Antwort

Spark: Speichern von RDD in einem bereits vorhandenen Pfad in HDFS

Ich bin in der Lage, die RDD-Ausgabe in HDFS mit saveAsTextFile Methode zu speichern. Diese Methode löst eine Ausnahme aus, wenn der Dateipfad bereits existiert. Ich habe einen Anwendungsfall, wo ich

0Hitze

1Antwort

OOzie Shell -Impala-Aktion XML-Fehler

Ich versuche, eine Beispielimpala-Abfrage mit Ozzie auszuführen. Während des Laufens Shell ich unten Fehler immer bin Error: E0701 : E0701: XML schema error, cvc-complex-type.2.3: Element 'shell' cann

0Hitze

1Antwort

Spark RDD Union OOM-Fehler bei der Verwendung von Einzelmaschine

Ich habe den folgenden Code, der die eindeutigen Telefonnummern erhält, und Union aller Anrufe erstellt. //Get all the calls for the last 24 hours for each MSISDN in the hour val sCallsPlaced = (grou

1Hitze

1Antwort

Java-API zum Erstellen von Ranger-Richtlinien

Gibt es eine Java-API zum Erstellen von Ranger HDFS/Hive-Richtlinien? Ich plane Richtlinien für angemeldete Benutzer dynamisch mit Java zu erstellen, also wenn mich jemand auf Java Doc zeigen könnte?