1
Ich habe einige Tabellen mit mehr als 800 Spalten erstellt. Aber ich sehe nur die Werte von ungefähr 500 Spalten. Gibt es eine Grenze oder welche anderen Ursachen gibt es?Beliebige Spaltenlimits im Stock
A
Antwort
1
Nach this answer:
Ich bin nicht bekannt, dass „harte“ Beschränkung in hive in Bezug auf die Spaltenanzahl, gibt es einige auf Spaltengröße though. Eine Einschränkung der Spaltenanzahl hängt wahrscheinlich auch vom Dateiformat ab, ORC mit Indizes und Prädikat-Pushdown verhält sich nicht wie eine Textdatei. ORC verfügt über Konfigurationen für die Anzahl der Zeilen, die für einen Index gruppiert sind.
In Hive issue: zum Beispiel die Anzahl der Spalten> 1K erstellt Speicherdruck in ORC in OOM. Im Test wurden 15K-Spalten geladen und OOM nur bei 20K-Spalten gesehen.
Und this answer:
Die Skalierbarkeit von Metastore (Anlegestelle) + Datenbank gewählt wird auch die Leistung von Abfragen auswirken und kann Erfolgsrate bei jeder Ausführung der Abfrage, mit der Erhöhung der Anzahl der Spalten pro Tabelle beschränken