parquet

2Hitze

1Antwort

Nicht genügend Speicherfehler beim Schreiben von Spark-Datenframes in das Parkettformat

Ich versuche, Daten aus einer Datenbank abzufragen, einige Transformationen daran vorzunehmen und die neuen Daten im Parkettformat auf hdfs zu speichern. Da die Datenbankabfrage eine große Anzahl von

0Hitze

3Antwort

Spark Avro zu Parquet Writer

Problem: Objekt nicht serialisierbar Können Sie bitte sehen, wie das Problem zu beheben. in der Lage, es richtig zu lesen wie das Drucken richtig. aber während die Aufzeichnungen schriftlich Parkett O

1Hitze

2Antwort

Spezifische Spalte Dump von Parkett-Datei mit Parquet-tools.jar

Ich möchte nur eine bestimmte Spalte auf einige Text-Datei mit Parkett-Tools-1.8.1.jar.Das aber nicht in der Lage, dies zu tun. Ich versuche unter Befehl. Bitte beachten Sie, dass mein Spaltenname ein

1Hitze

1Antwort

Run PySpark als Skript

Ich bin neu in Spark/Pyspark und muss es in eine Pipeline integrieren. Ich habe es geschafft, den Code zusammenzustellen, der im Terminal ausgeführt werden muss. Jetzt möchte ich diesen Code als Skrip

5Hitze

2Antwort

Wie mehrere Parkett-Dateien mit Linux-oder hdfs-Befehl zu einzelnen Parkett-Datei zusammenführen?

Ich habe mehrere kleine parquet Dateien als Ausgabe von Hive Ql Job generiert, möchte ich die Ausgabedateien zu einzelnen Parkett-Datei zusammenführen? Was ist der beste Weg, es mit einigen hdfs or li

0Hitze

1Antwort

Wählen Sie aus Parkett Tabelle gibt nichts in Bienenstock

Ich folgte nur, um eine einfache Parkett-Datei zu erstellen. Scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) Scala> val employee = sqlContext.read.json(“employee”) Scala> employee.wr

1Hitze

1Antwort

Vorteil der Erstellung von Hive-Partitionen bei Verwendung von Parkett-Dateispeicher

Ist es von Vorteil, Hive-Partitionen bei der Verwendung von Parkett-Dateispeicher zu erstellen. Parkett ist ein spaltenförmiges Speicherdateiformat, das Daten in Spaltenabschnitten speichert, wobei al

2Hitze

1Antwort

Lese lokale Parkett Dateien in Spark-2.0

In Funken 1.6.2 Ich bin in der Lage lokale Parkett-Dateien zu lesen, sehr einfach, indem Sie: SQLContext sqlContext = new SQLContext(new SparkContext("local[*]", "Java Spark SQL Example")); DataFrame

0Hitze

1Antwort

Pass List [Zeichenfolge] auf Funktion, die f nimmt (args: String *):</p> <pre><code>sqlContext .read .parquet("s3://bucket/key", "s3://bucket/key") </code></pre> <p>ich jetzt scala

Ich brauche zu lesen in bestimmten Parkett Dateien mit Funken, ich weiß, kann dies wie so getan werden, habe ein List [String] -Objekt mit all diesen s3 Pfaden darin, aber ich weiß nicht, wie ich das

1Hitze

1Antwort

erstellen verschachtelte Daten aus aus nicht verschachtelten Daten in hive

Gibt es eine Möglichkeit, die ich verschachtelte Daten in Struktur von un-verschachtelten Daten erstellen Beispiel: Quelltabelle id zip_code 123 12345 123 23456 123 56789 234 12345 234 99999 au