hdfs

0Hitze

1Antwort

Öffnen von Dateien in Funken mit bestimmten Zeitstempeln

ich newAPIHadoopFile in meiner scala-Klasse verwenden, um Text-Dateien von HDFS wie unten val conf = new SparkConf val sc = new SparkContext(conf) val hc = new Configuration(sc.hadoopConfiguration)

0Hitze

2Antwort

Wie aufzuspalten HDFS in mehrere Verzeichnisse Datei einige Schlüssel auf die Daten unter Verwendung von

ich eine HDFS-Datei mit folgenden Beispieldaten haben id Name Zeitstempel 1 Lorem 2013-01-01 2 Ipsum 2013-02- 01 3 Ipsum 2013-03-01 Jetzt mag ich die Daten in mehrere Verzeichnis im Format aufzuspalte

0Hitze

1Antwort

Lesen von Daten aus HDFS auf einem Cluster

Ich versuche, Daten von HDFS auf AWS EC2-Cluster mit Jupiter Notebook zu lesen. Es hat 7 Knoten. Ich benutze HDP 2.4 und mein Code ist unten. Die Tabelle hat Millionen von Zeilen, aber der Code gibt k

0Hitze

1Antwort

Kanal-/Avro-Quelle, Speicherkanal und HDFS-Senke - Zu viele kleine Dateien

Ich stehe vor einem seltsamen Problem. Ich bin auf der Suche nach einer Menge Informationen von Gerinne zu einem HDFS zu aggregieren. Ich habe die empfohlene Konfiguration angewendet, um zu viele klei

0Hitze

1Antwort

Spring Cloud-Datenfluss in einem Kerberos-fähigen Hadoop-Cluster

Werden in einem kerberos-fähigen Hadoop-Cluster Spring-Cloud-Datenfluss-Garn und die hdfs-Senke funktionieren?

1Hitze

2Antwort

Wie man Datei auf HDFS mit Snappy Kompression setzt

Ich arbeite für einen Client, wo ich einige Dateien in HDFS mit Snappy Kompression legen sollte. Mein Problem ist Snappy Codec ist nicht in mapred-site.xml oder hdfs-site.xml definiert Irgendwie muss

1Hitze

2Antwort

Wie konfiguriert man HBase im HA-Modus?

Ich verstehe nicht, einen Parameter aus hbase-site.xml: <property> <name>hbase.rootdir</name> <value>hdfs://hdfsHost:8020/hbase</value> </property> Was müssen wir in diesen Parameter setz

0Hitze

1Antwort

Wo ein replizierter Block physisch zu finden ist

Ich habe 2 Datenknoten + 1 Namen in meinem Cluster. Ich kann sehen, dass meine Datei email.json auf beiden Datenkanälen repliziert wird. Ich kann die Standorte hier basierend auf der fsck-Ausgabe sehe

2Hitze

1Antwort

Lesen von CSV-Dateien aus HDFS in R mit fread() und grep - verlorene Spaltennamen

Ich habe versucht, große csv-Dateien von HDFS in R mit dem data.table-Paket zu lesen, da es viel schneller ist als das rhdfs-Paket durch meine Erfahrung. Ich habe erfolgreich mit ganzen Dateien mit de

1Hitze

2Antwort

Hive ändern serde Eigenschaften funktioniert nicht

Ich versuche, die bestehenden Hive externe Tabelle Begrenzer aus Komma ,-ctrl+A Zeichen zu ändern, indem Sie Hive ALTER TABLE-Anweisung ALTER TABLE table_name SET SERDEPROPERTIES ('field.delim' = '\u0