2016-05-13 6 views
1

wie hdfs-Dateien in Hive laden. In meinem Projekt muss es hdfs-Dateien in den Stock laden. Meine hdfs Dateien Struktur wie `/ Gerinne/Thema/Datum/Stunde/Datei.hdfs``, die Frage ist, wie ich Verzeichnisdaten automatisch laden kann.So laden Sie Verzeichnisdaten in den Hive

+0

ja, ich habe Partitionstabelle verwendet, um diese Anwendung zu erweitern. –

+0

hast du das gleiche Problem? –

Antwort

0
1) Directory contains three files 

    -rw-r--r-- 1 hadoop supergroup  125 2017-05-15 17:53/hallfolder/hall.csv 
    -rw-r--r-- 1 hadoop supergroup  125 2017-05-15 17:53/hallfolder/hall1.csv 
    -rw-r--r-- 1 hadoop supergroup  125 2017-05-15 17:54/hallfolder/hall2.csv 
2) Enable this command 

    hive > SET mapred.input.dir.recursive=true; 
3) hive> 

    hive>load data inpath '/hallfolder/*' into table alltable;