Wie wird Vora Table Partitionsgröße eingestellt?

Question

Ich habe die Option 'partitionSize' auf mehrere verschiedene Werte eingestellt, und ich scheine die gleiche Anzahl von Partitionen zu bekommen, egal welche Nummer. Laut der Dokumentation sollte das der HDFS-Blockgröße entsprechen. Gibt es etwas, das ich vermisse?

HDFS Blockgrße 64M

TABLE TABLE_TEST CREATE (DEFINITION_INFO) USING com.sap.spark.vora OPTIONS ( tablename "TABLE_TEST" PARTITION "64", paths „/ load_from_here/kombiniert. csv“, eagerLoad "true" )

die csv ist etwa 680M

Answer 1

der Name des Parameters ein wenig irreführend ist. Es dient nicht zum Partitionieren von Tabellen, sondern zum Beeinflussen der Ladeperformance beim Laden von Daten in Tabellen. In neueren Versionen könnte es umbenannt werden, um diese Verwirrung zu vermeiden.