Presto: Welche Dateien sind teilbar?

Question

Jetzt finde ich meine lzo Datei kann nicht aufgeteilt werden, so ist meine Suche sehr langsam.So wie soll ich die Suche beschleunigen.

Welche Dateien sind teilbar?

Meine Datenquelle ist flume, Daten werden in hdfs gespeichert.

Answer 1

Ich schlage vor, dass Sie Ihre Daten in ORC oder Parkett schreiben. Beide Formate sind viel schneller als lzo.