parquet

9Hitze

2Antwort

Wie liest man eine Parkett-Datei in einem eigenständigen Java-Code?

Die Parkettunterlagen von Cloudera zeigen Beispiele für die Integration von Schwein/Bienenstock/Impala. aber in vielen Fällen möchte ich die Parkettdatei selbst zu Debugging-Zwecken lesen. Gibt es ein

17Hitze

2Antwort

Index im Parkett

Ich würde gerne eine schnelle Bereich Abfrage auf einem Parkett Tisch machen können. Die Menge der zurückzugebenden Daten ist im Vergleich zur Gesamtgröße sehr klein, aber da ein vollständiger Spalten

9Hitze

1Antwort

Spark SQL konnte das Schreiben von Parquet-Daten mit einer großen Anzahl von Shards nicht abschließen

Ich versuche, Apache Spark SQL zu verwenden, um JSL-Protokolldaten in S3 in Parquet-Dateien auch auf S3 zu schreiben. Mein Code ist im Grunde: import org.apache.spark._ val sqlContext = sql.SQLContex

8Hitze

2Antwort

EntityTooLarge Fehler, wenn eine 5G-Datei auf Amazon S3

Amazon S3 Dateigrößenbeschränkung ist das Hochladen soll 5T sein nach diesem announcement, aber ich erhalte die folgende Fehlermeldung, wenn eine Datei 5G Hochladen '/mahler%2Fparquet%2Fpageview%2Fall

7Hitze

1Antwort

Speichern eines >> 25T SchemaRDD im Parkett-Format unter S3

Beim Versuch, ein sehr großes SchemaRDD im Parkettformat auf S3 zu speichern, sind einige Probleme aufgetreten. Ich habe bereits spezielle Fragen für diese Probleme gestellt, aber das ist es, was ich