Wie löst man zu viele Partitionsprobleme in Hive

Question

Was ist das Problem, wenn ich mehr Partition in einer einzigen Tabelle habe. Ich plane, eine Geschichte Tabelle in Bienenstock zu schaffen, der 7 bis 8 Jahre Daten enthält, auch ich plane, die Tabelle mit Datumschlüssel zu teilen. In diesem Fall wird meine Tabelle ungefähr 2500 bis 3500 Partitionen haben. Wird diese Überpartition Probleme in meinem Namenknoten und Datenknoten verursachen? Bei jedem Eintrag der Eintrags-Partition, wie viel Speicher belegt der Name-Knoten? Was ist das Problem, dem ich wegen dieser Partition gegenüberstehen werde? Wenn ich ein Problem mit dem Speicher habe, schlagen Sie mir bitte die Lösung vor. Wenn Sie einen guten Artikel darüber gefunden haben, geben Sie mir bitte einen Link. Gibt es alternative Methoden zur Lösung dieses Problems?

Dank Venkadesan E

Answer 1

Ich glaube nicht, dass Sie mit Überpartitionierungs zu kämpfen haben, 3.5K noch ok klingen. Das einzige Problem mit der größeren Anzahl von Partitionen ist die Zeit, bevor die Abfrage beginnt zu laufen, ich nehme an, dass es die Metadaten der Partition von metasore empfängt. Wir stießen auf echte Verlangsamung auf 10k Partitionen, 3.5k für Sie