Presto Best Practices der Anzahl der Splits?

Question

Es gibt ein Konfigurationselement (max-split-size), um eine maximale Größe von split zu setzen. Mit anderen Worten, ich kann den Wert des Elements ändern, um die Anzahl der Teilungen zu ändern.

Ich weiß, mehr Splits werden mehr cpu zur gleichen Zeit verwenden, und die Suche wird schneller.

Wenn ja, warum presto den Standardwert des Elements ist 32M anstelle von 1M?

Answer 1

Es gibt einen Overhead für jede Spalte, die erstellt wird, damit sie nicht zu klein sein sollen. Außerdem können einige Dateiformate wie ORC nicht kleiner aufgeteilt werden als die Größe eines ORC-Stripe, der in der Regel mehrere zehn bis mehrere hundert Megabyte groß ist