Hinzufügen von Dateipartition

Question

Bis hive 0.13 Version hive konnte ich eine Datei auf eine bestimmte Partition einer hive Tabelle mit dem folgenden Befehl hinzufügen:

alter table table add partition (year=2016,month=07,day=25,file_part=1) location '/home/user/data/201607/NetworkActivity_553_1051924_07-25-2016.log.gz'; 

hat unser Cluster aktualisiert und Bienenstock ist jetzt hive Version 1.2 . Ich bin nicht in der Lage den obigen Befehl auszuführen, wie es die folgenden Fehler wirft:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:maprfs:/home/user/data/201607/NetworkActivity_553_1051924_07-25-2016.log.g is not a directory or unable to create one) 

Könnten Sie bitte lassen Sie mich wissen, dass von hive 1.2 Version, die wir nur Verzeichnisse hinzufügen können partitionieren?

Answer 1

Partition Speicherort sollte Verzeichnis sein. Erstellen Sie zuerst die Partition mit dem Verzeichnis location = some_directory und dann die Dateien in das Verzeichnis. Oder legen Sie Dateien in ein Verzeichnis und ändern Sie dann die Tabelle Partition hinzufügen mit dem Verzeichnis location =.

In Ihrem Beispiel ist dies wie folgt aus:

alter table table add partition (year=2016,month=07,day=25,file_part=1) location '/home/user/data/201607';