parquet

8Hitze

3Antwort

Parkett von der Befehlszeile aus prüfen

Wie überprüfe ich den Inhalt einer Parquet-Datei über die Befehlszeile? Die einzige Option, die ich jetzt sehen, ist $ hadoop fs -get my-path local-file $ parquet-tools head local-file | less Ich m

parquet 2016-03-21

---

1Hitze

1Antwort

Schreiben Sie Parkett in Java

Ich möchte eine Parkett-Datei in Standalone-Java schreiben, in lokalen Dateisystem (nicht auf Hadoop). Wie geht das? Ich weiß, ich kann dies leicht mit Funken tun, aber ich muss dies in Standalone Jav

java parquet 2016-03-23

---

1Hitze

1Antwort

Konvertieren von Schema-Entwicklung (SCD) JSON/XML in ORC/Parkett-Format

Wir erhalten Varianten von JSONs/XMLs als Eingabe, wo Schema immer weiterentwickelt wird. Ich möchte sie in der Hadoop/Hive-Umgebung mit ORC- oder Parquet-Format verarbeiten, um die Leistung zu steige

apache-spark apache-spark-sql spark-dataframe parquet orc 2016-03-28

---

0Hitze

1Antwort

Geschachtelte Parkettdatei in Pig laden?

Eine Parkettdatei wird aus einer Avro-Datei erstellt. Jetzt muss ich die Parkettdatei in Pig laden. Folgendes ist das Schema, das ich von parquet-tools schema Befehl erhalten habe. message Logs {

apache-pig parquet 2016-03-28

---

0Hitze

1Antwort

Lesen gz.parquet Datei

Hallo Ich muss die Daten von gz.parquet Dateien lesen, aber nicht wissen, wie ?? Mit Impala versucht, aber ich bekomme das gleiche Ergebnis wie parquet-tools cat ohne die Tabellenstruktur. S.S .: alle

apache-spark hive apache-kafka parquet flume-twitter 2016-03-30

---

0Hitze

1Antwort

Fehler beim Lesen der Parquetdatei mit SparkSQL und HiveContext

Ich versuche eine Tabelle von Hive (naja, es ist Impala) im Parkettformat zu lesen. Ich benutze Spark 1.3.0 und HiveContext. Das Schema der Tabelle ist: (a,DoubleType) (b,DoubleType) (c,IntegerType)

apache-spark-sql parquet 2016-03-31

---

1Hitze

1Antwort

Umwandlung von Parkett in Avro

Ich sehe viele Beispiele, wie man Avro-Dateien in Parquet umwandeln kann, wobei Parquet das Avro-Schema in seinen Metadaten behält. Ich bin jedoch verwirrt, wenn es eine einfache Möglichkeit gibt, das

avro parquet 2016-04-01

---

3Hitze

1Antwort

Spark Partitionierung für Datei schreiben ist sehr langsam

Beim Schreiben einer Datei in HDFS mit Spark, ist dies ziemlich schnell, wenn keine Partitionierung verwendet. Wenn ich stattdessen die Partitionierung zum Schreiben der Datei verwende, erhöht sich di

hadoop apache-spark hdfs parquet hadoop-partitioning 2016-04-01

---

2Hitze

1Antwort

Parkettkompression über Impala

Wir haben einige Impala-Tabellen definiert und gehen davon aus, dass wir die Snappy-Komprimierung verwenden. (Parkett Dateien) Allerdings weiß niemand wirklich, welche Komprimierungstyp wir tatsächlic

impala parquet 2016-04-07

---

1Hitze

1Antwort

Cloudera Impala: Datei hat eine ungültige Versionsnummer. Dies könnte aufgrund veralteter Metadaten

CDH Verteilung (Version 5.6.0) mit Impala (Version 2.4.0) sein. Ich habe einige Parkett-Dateien in HDFS gespeichert. create external table parquetTable like parquet 'hdfs://cloudera-impala-mn0.eastus

azure cloudera cloudera-cdh impala parquet 2016-04-08

---