Ich habe eine große MySQL-Tabelle, die ich in eine Hadoop/Hive-Tabelle übertragen möchte. Gibt es Standardbefehle oder -techniken, um eine einfache (aber große) Tabelle von Mysql nach Hive zu übertragen? Die Tabelle speichert hauptsächlich Analysedaten.Wie übertrage ich mysql table in hive?
Zunächst einmal herunterladen mysql-connector-java-5.0.8 und setzen Sie das Glas und Ordner sind Sqoop
Lib erstellen die Tabelle Definition in Hive mit genaue Feldnamen und Typen wie in Mysql
sqoop Import --verbose --fields-terminated-von ',' --connect jdbc: mysql: // localhost/test --tabelle employee --hive-import --warehouse-dir/user/hive/warehouse --fields-terminated -von '' --split-by-ID --hive-Tabelle Mitarbeiter
Test - Datenbankname
Mitarbeiter - Tabellenname (in Test)
/user/Nest/Warehouse - Verzeichnis in HDFS, in das die Daten importiert werden müssen
--split-by ID - ID kann der Primärschlüssel der Tabelle 'employee' sein
--hive-Tabelle Mitarbeiter - Mitarbeiter Tabelle, deren Definition ist in Hive
Sqoop User Guide (Einer der besten Führer für das Lernen Sqoop)
Apache Sqoop ist ein Werkzeug, das dieses Problem löst:
Apache Sqoop (TM) ist ein Tool für die effiziente Übertragung von Massendaten zwischen Apache Hadoop und strukturierten Datenspeichern, wie beispielsweise relationale Datenbanken.
Werfen Sie einen Blick auf: http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive
http://oracleabc.com/b/archives/1428 vielleicht? –
@MarcB das Link war super hilfreich Tnx –