0
Ich muss einige Daten von HDFS zu Hive laden. Aber ich brauche einige Aggregationen zwischen den Dateien, die ich in HDFS habe. Ich habe gelesen, dass Sqoop das kann, aber nur mit MySQL. Welche andere Wahl muss ich machen?Welche Komponente ist besser, um Daten mit einer Datentransformation von HDFS in Hive zu verschieben?
Danke!
Aber ich habe 70 Dateien in HDFS. Ich denke, ich brauche keine 70 Tabellen in Hive zu erstellen, um die Aggregation durchzuführen. Gibt es eine Möglichkeit, all diese Dateien in die gleiche Tabelle zu importieren? Danke! – SaCvP
Hive übernimmt automatisch die Vereinigung der Tabellen. Solange sie dieselbe Struktur haben, benötigen Sie nur eine externe Tabelle, deren Speicherort der HDFS-Pfad zu Ihren 70 Dateien ist. – Jared