Hive - Möglichkeiten zur Standardisierung von eingehenden Datumsfeldern n Bienenstock?

Question

Ich habe Datenquellen von überall mit mysql, Oracle, etc. Jede Datenquelle speichert das Datum als Datensatz in einer Tabelle, aber das Format ist nicht Standard und kann sogar von Tabelle zu Tabelle in der gleichen Datenquelle variieren (JJJJ-MM-dd, JJJJ-TT-MM, MM-TT-JJJJ, JJJJ-MMM-TT HH: mm: SS: ss, usw.).

Welche Optionen gibt es, um diese verschiedenen Datumsfelder zu standardisieren, um sie in einem Stock zu speichern? Schwein?

Answer 1

Wenn Sie Sqoop zum Ziehen von Daten in Hive verwenden, können Sie eine eigene Abfrage erstellen, um das Datum in einem bestimmten Standardformat abzurufen.

sqoop --options-file <Source RDMS options file> 
--query "select to_char(start_date,'mm/dd/yyyy') as my_date from SALES"