hadoop

1Hitze

3Antwort

i in hdfs eine Datei bin, die (,) ist Komma getrennt, ich versuche, 6. Spalte für das i unter i object WordCount { def main(args: Array[String]) { val textfile = sc.textFile("/user/cloudera/xxx/xxx

6Hitze

1Antwort

Nicht in der Lage führen zu holen aus hive Transaktion freigegeben Tabelle durch Funken SQL

Hintergrund: - Ich bin mit HDP mit spark1.6.0 und hive 1.2.1 Schritte folgen : - erstellen hive Tabelle: - hive> CREATE TABLE orctest(PROD_ID bigint, CUST_ID bigint, TIME_ID timestamp, CHANNEL_ID big

0Hitze

1Antwort

Spring Cloud-Datenfluss in einem Kerberos-fähigen Hadoop-Cluster

Werden in einem kerberos-fähigen Hadoop-Cluster Spring-Cloud-Datenfluss-Garn und die hdfs-Senke funktionieren?

1Hitze

1Antwort

Wie wird die manuell aufgeteilte Regionsnummer beim Erstellen der Tabelle in HBase abgerufen?

Ich schaue jetzt in eine Tabelle mit 126 Regionen durch HBase Shell. Aber ich kann nicht herausfinden, wie viel Region während der Erstellung der Tabelle manuell definiert wurde. Gibt es irgendeine Fr

1Hitze

1Antwort

BlockMissingException beim Remote-Lesen von HDFS-Datei von Java in Hadoop 2

Ich benutze Hadoop 2.6, und ich habe einen Cluster von virtuellen Maschinen, wo ich meine HDFS installiert. Ich versuche, eine Datei in meinem HDFS durch einig Java-Code aus der Ferne lesen läuft auf

1Hitze

2Antwort

Wie man Datei auf HDFS mit Snappy Kompression setzt

Ich arbeite für einen Client, wo ich einige Dateien in HDFS mit Snappy Kompression legen sollte. Mein Problem ist Snappy Codec ist nicht in mapred-site.xml oder hdfs-site.xml definiert Irgendwie muss

5Hitze

1Antwort

aus einem Bienenstock Tabelle lesen und schreiben zurück, um es Funken sql

Ich bin eine Hive Tabelle mit Spark-SQL zu lesen und es zu einem scala val val x = sqlContext.sql("select * from some_table") Dann mach eine Verarbeitung mit dem Datenrahmen x I zuweisen und Schließ

0Hitze

1Antwort

HiveContext funktioniert nicht von Oozie

Ich habe versucht, einige Hive-Abfragen aus meinem Spark-Code mit dem HiveContext-Objekt auszuführen. Es funktionierte gut, wenn ich es über die Befehlszeile mit Spark Submit ausführte. Aber ich bekom

0Hitze

1Antwort

Spark mehrere Datenrahmen speichert

Ich habe einen Funken Job, der einen Datenrahmen erstellt, die ich in HDFS speichern. Ich würde gerne eine Teilmenge dieses Datenframes an einem anderen Ort speichern, aber ich möchte dabei performant

1Hitze

1Antwort

Konfigurieren von Hadoop 1.2.0 auf Windows

Kann mir einer von Ihnen helfen, wie ich Hadoop auf Windows-Server mit Cygwin tatsächlich installieren, wenn ich JAVA_HOME Variable in Datei gibt es immer einen Fehler wie EOF command not found und bi