hadoop

3Hitze

1Antwort

Lesen Sie eine verteilte Registerkarte mit Trennzeichen CSV

Inspiriert von dieser question, schrieb ich einen Code zum Speichern einer RDD (die aus einer Parquet-Datei gelesen wurde), mit einem Schema von (Foto_ID, Daten), in Paaren, durch Tabulatoren und begr

python hadoop apache-spark io distributed-computing 2016-08-04

---

1Hitze

2Antwort

Wie kann in MapReduce dieselbe Aufgabe auf mehreren Computern ausgeführt werden?

Lesen Sie das Papier über MapReduce und es wird erwähnt, alle Zwischenschlüssel zu gruppieren. Wenn ein Arbeiter reduzieren alle Zwischendaten gelesen hat, sortiert sie es durch den Zwischenschlüssel,

hadoop mapreduce 2016-08-04

---

-1Hitze

1Antwort

Ad-hoc-Abfragen an einen massiven JSON-Datensatz

Ich habe einen massiven Datensatz in Azure BLOB im JSON-Format gespeichert. Einige Apps fügen ständig neue Daten hinzu. BLOBs sind in Partitionen organisiert wie /dataset={name}/date={YYYY-MM-DD}/one_

json hadoop hive apache-pig apache-drill 2016-08-04

---

1Hitze

1Antwort

Vorteil der Erstellung von Hive-Partitionen bei Verwendung von Parkett-Dateispeicher

Ist es von Vorteil, Hive-Partitionen bei der Verwendung von Parkett-Dateispeicher zu erstellen. Parkett ist ein spaltenförmiges Speicherdateiformat, das Daten in Spaltenabschnitten speichert, wobei al

hadoop hive parquet 2016-08-04

---

0Hitze

2Antwort

Implementierungsproblem in Cascading beim Lesen von Daten aus hdfs

Angenommen, ich habe diese Dateien in hdfs Verzeichnis 500/Customer/part-001 500/Customer/part-002 500/Customer/part-003 Kann es möglich sein, zu prüfen, aus denen Teildatei das Tupel kommt? Hinwe

hadoop cascading bigdata 2016-08-04

---

1Hitze

2Antwort

Wie konfiguriert man HBase im HA-Modus?

Ich verstehe nicht, einen Parameter aus hbase-site.xml: <property> <name>hbase.rootdir</name> <value>hdfs://hdfsHost:8020/hbase</value> </property> Was müssen wir in diesen Parameter setz

hadoop hbase hdfs hadoop2 2016-08-04

---

1Hitze

1Antwort

Datei von HDFS in ein anderes Verzeichnis in HDFS mit OOZIE?

Ich versuche, eine Datei von HDFS ein Verzeichnis in ein anderes Verzeichnis in HDFS zu kopieren, mit Hilfe von Shell-Skript als Teil von Oozie Job, aber ich bin nicht in der Lage, es durch oozie zu k

shell hadoop cloudera oozie oozie-coordinator 2016-08-04

---

11Hitze

3Antwort

Sekundäre Sortierung in Hadoop

Ich arbeite an einem Hadoop-Projekt und nach vielen Besuchen in verschiedenen Blogs und Lesen der Dokumentation, erkannte ich, dass ich Secondry-Sortierfunktion von Hadoop-Framework zur Verfügung gest

java hadoop mapreduce hadoop2 hadoop-partitioning 2016-08-04

---

1Hitze

1Antwort

Pig Speichern Sie die Datei mit benutzerdefinierten Zeile/Datensatz Trennzeichen

Ich habe eine Datei mit einem CtrlB als Datensatzbegrenzer. Ich konnte die Datei im Schwein lesen, indem ich die LoaderInputFormat-Klasse und die Methode getInputFormat() im Pig-Speicher überschreiben

hadoop mapreduce apache-pig 2016-08-04

---

1Hitze

1Antwort

Lesen einer nicht-string-partitionierten Hive-Tabelle in Pig

Ich versuche, Daten aus einer Hive-Tabelle mit Pig zu lesen. Details folgen: Hive-Version 1.1 Schwein 0,12 Hadoop 2.6.0 Cloudera Verteilung 5.4.4 Hive Tabellenschema: map <string, string> yyyy int m

hadoop hive apache-pig cloudera-cdh hcatalog 2016-08-04

---