Was ist die --jar-Datei und --Klasse-name Optionen in Sqoop Befehl fusionieren

Question

Ich habe versucht, diesen Befehl in cloudera quickstart VM Sqoop fusioniert folgende auszuführen:

sqoop merge --merge-key department_id \ 
    --new-data /user/cloudera/sqoop_merge/departments_delta \ 
    --onto /user/cloudera/sqoop_merge/departments \ 
    --target-dir /user/cloudera/sqoop_merge/departments_stage \ 
    --class-name departments \ 
    --jar-file 

ich die folgende Störung erhalten:

Missing argument for option: jar-file

In sqoop Dokumentation fand ich dies.

--jar-file Specify the name of the jar to load the record class from.

Ich erhalte Fehler für die

--class-name command also.

was sind diese beiden Befehle und was sind die erwarteten Argumente, die auf diese Befehle übergeben werden sollen?

Answer 1

Wenn Sie zunächst Daten zu hdfs importiert sqoop verwenden, sqoop für jede importierte Tabelle erstellt Java-Dateien haben müssen (in der Regel in demselben Verzeichnis, von wo aus Sie lief sqoop import Befehl für departments Tabelle oder wenn --outdir als Klassen in dieser Position sein sollte) . Sie müssen diese Klassen in JAR-Datei zu verpacken und zu verwenden, die in merge:

sqoop merge --merge-key department_id \ 
    --new-data /user/cloudera/sqoop_merge/departments_delta \ 
    --onto /user/cloudera/sqoop_merge/departments \ 
    --target-dir /user/cloudera/sqoop_merge/departments_stage \ 
    --class-name departments \ 
    --jar-file /path/to/mydataTypes.jar 

sqoop_guide

To parse the dataset and extract the key column, the auto-generated class from a previous import must be used. You should specify the class name and jar file with --class-name and --jar-file . If this is not available you can recreate the class using the codegen tool.