parquet

0Hitze

1Antwort

Fehler beim Überschreiben von Parkett Bienenstock Tabelle in pyspark

Verwenden: funke 1.5.2, Bienenstock 1.2 Ich habe eine externe Bienenstock Tabelle im Parkett-Format. Ich habe ein .py-Skript erstellt, das aus my_table ein Datenframe auswählt, einige Transformationen

hive pyspark parquet 2016-04-27

---

2Hitze

2Antwort

Spark SQL ignoriert die in TBLPROPERTIES angegebene parquet.compression-Eigenschaft

Ich muss eine Hive-Tabelle aus Spark SQL erstellen, die im PARQUET-Format und in der SNAPPY-Komprimierung vorliegt. Der folgende Code erstellt Tabelle in PARKETT-Format, aber mit GZIP-Komprimierung: h

apache-spark-sql hiveql parquet 2016-04-29

---

0Hitze

1Antwort

Spark Parkett verschachtelten Wert flach

Ich habe Parkett-Datei. Ich habe mit Spark geladen. Und einer der Wert ist verschachtelte Schlüssel, Wert-Paare. Wie flachte ich ab? df.printSchema root |-- location: string (nullable = true) |-- p

apache-spark parquet 2016-05-03

---

1Hitze

2Antwort

RDD Speicherbedarf in Funken

Ich bin mir nicht sicher über das Konzept der Speicherfußabdruck. Beim Laden einer Parkettdatei von z. 1 GB und Erstellen von RDDs daraus in Spark, Was wäre der Speicher Lebensmittel drucken für jede

apache-spark compression rdd parquet memory-footprint 2016-05-05

---

0Hitze

1Antwort

Maximale Größe der Zeilen in Spark-Jobs mit Avro/Parkett

Ich plane, Spark zu verwenden, um Daten zu verarbeiten, wobei jedes einzelne Element/Zeile in der RDD oder DataFrame gelegentlich groß sein kann (bis zu mehreren GB). Die Daten werden wahrscheinlich i

apache-spark hdfs apache-spark-sql avro parquet 2016-05-06

---

1Hitze

2Antwort

apache nifi, hdfs parkett format

Ich bin ein Neuling zu NIFI, mein Anwendungsfall ist von einem Hafen zu lesen und zu hdfs im Parkettformat zu schreiben, meine Forschung sagt, es gibt etwas namens KiteSDK, mit dem ich als Parkett spe

parquet apache-nifi kite-sdk bigdata 2016-05-10

---

3Hitze

1Antwort

bestimmte Spalten auswählen in Spark-Datenrahmen von Array von Struct

Ich habe einen Datenrahmen Spark-df mit folgendem Schema: root |-- k: integer (nullable = false) |-- v: array (nullable = true) | |-- element: struct (containsNull = true) | | |-- a: integer (null

apache-spark spark-dataframe parquet 2016-05-11

---

0Hitze

1Antwort

Datensatz für Parkett

Ich habe ein mapreduce-Programm, das ich in einer Parkettdatei aufnehmen möchte. Ich kann keinen Parkett-Datensatz auf einem Repo oder einer Website finden. Bitte schlagen Sie einige vor.

java mapreduce dataset parquet bigdata 2016-05-13

---

1Hitze

2Antwort

Abfrage eines verschachtelten Array in Parquet Records

Ich versuche verschiedene Möglichkeiten, einen Datensatz in einem Array von Datensätzen abzufragen und vollständige Zeile als Ausgabe anzuzeigen. Ich weiß nicht, welches geschachtelte Objekt String "p

apache-spark apache-spark-sql hiveql spark-dataframe parquet 2016-05-17

---

13Hitze

1Antwort

Generieren von Metadaten für Parkettdateien

Ich habe eine Bienenstock-Tabelle, die auf einer Last von externen Parkettdateien aufgebaut ist. Paruqet-Dateien sollten vom Funke-Job generiert werden, aber aufgrund der Einstellung von Metadaten-Fla

hadoop apache-spark hive parquet 2016-05-19

---