Schwein überschreiben Daten in Bienenstock mit LOAD

Ich bin neu zu Schwein und Bienenstock, ich muss die Daten von CSV-Datei auf hdfs in der Bienenstock-Tabelle mit Schweine laden-laden laden. für die ich bin mitSchwein überschreiben Daten in Bienenstock mit LOAD

load_resource_csv = LOAD '/user/hadoop/emp.csv' USING PigStorage(',') 
AS 
(dates:chararray, 
    shipnode_key:chararray, 
    delivery_method:chararray, 

); 

STORE load_resource_csv 
INTO 'employee' 
USING org.apache.hive.hcatalog.pig.HCatStorer();

Ich brauche die Daten in der Struktur Tabelle zu überschreiben, jedes Mal wenn ich das Schwein Skript ausführen. Wie kann ich das tun?

Quelle

2016-08-05 Freeman

http://stackoverflow.com/questions/11110403/how-to-force-store-overwrite -to-hdfs-in-pig – abhiieor

@abhiieor Ich muss die Bienenstocktabellendaten durch Schweineskript überschreiben. – Freeman

sure und hive definiert nur Metadaten über Daten, die in HDFS gespeichert sind, sodass sich ändernde HDFS-Daten auch in der Hive-Tabelle widerspiegeln. – abhiieor

Verwendung fs Shell-Befehl: fs -rm -f -r /path/to/dir:

load_resource_csv = LOAD '/user/cloudera/newfile' USING PigStorage(',') 
AS 
(name:chararray, 
    skill:chararray 
); 

fs -rm -r -f /user/hive/warehouse/stack/ 

STORE load_resource_csv INTO '/user/hive/warehouse/stack' USING PigStorage(',');

-------------- BEFORE --------------------------- 
$ hadoop fs -ls /user/hive/warehouse/stack/ 
-rwxrwxrwx 1 cloudera supergroup   22 2016-08-05 18:31 /user/hive/warehouse/stack/000000_0 

hive> select * from stack; 
OK 
bigDataLearner hadoop 

$ hadoop fs -cat /user/cloudera/newfile 
bigDataLearner,spark

-------------- AFTER ------------------- 
$ hadoop fs -ls /user/hive/warehouse/stack 
Found 2 items 
-rw-r--r-- 1 cloudera supergroup   0 2016-08-05 18:56 /user/hive/warehouse/stack/_SUCCESS 
-rw-r--r-- 1 cloudera supergroup   21 2016-08-05 18:56 /user/hive/warehouse/stack/part-m-00000 

$ hadoop fs -cat /user/hive/warehouse/stack/* 
bigDataLearner,spark 

hive> select * from stack; 
OK 
bigDataLearner spark 
Time taken: 0.183 seconds, Fetched: 1 row(s)

Quelle

2016-08-06 02:02:35

Schwein überschreiben Daten in Bienenstock mit LOAD

Antwort

Verwandte Themen