1. Zuhause
  2. Frage und Antwort
  3. Sqoop Import als Avro Fehler

Sqoop Import als Avro Fehler

2016-05-09 8 views
0

Stack: Installierte HDP-2.3.2.0-2950 mit Ambari 2.1Sqoop Import als Avro Fehler

Ich versuche, eine SQL Server-Tabelle auf HDFS zu importieren.

[[email protected] root]$ sqoop import --connect 'jdbc:sqlserver://dbserver;database=dbname' --username someusername --password somepassword --as-avrodatafile --table DimSampleDesc --warehouse-dir /dataload/tohdfs/reio/odpdw/may2016 --verbose

Es gibt einen Fehler in der Ausgabe:

Writing Avro schema file: /tmp/sqoop-sqoop/compile/bbbd98974f09b50a9335cedde30f73a5/DimSampleDesc.avsc 
16/05/09 13:09:00 DEBUG mapreduce.DataDrivenImportJob: Could not move Avro schema file to code output directory. 
java.io.FileNotFoundException: Destination directory '.' does not exist [createDestDir=true] 
     at org.apache.commons.io.FileUtils.moveFileToDirectory(FileUtils.java:2865) 
     at org.apache.sqoop.mapreduce.DataDrivenImportJob.writeAvroSchema(DataDrivenImportJob.java:146) 
     at org.apache.sqoop.mapreduce.DataDrivenImportJob.configureMapper(DataDrivenImportJob.java:92) 
     at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:260) 
     at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:673) 
     at org.apache.sqoop.manager.SQLServerManager.importTable(SQLServerManager.java:163) 
     at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:497) 
     at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605) 
     at org.apache.sqoop.Sqoop.run(Sqoop.java:148) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
     at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:184) 
     at org.apache.sqoop.Sqoop.runTool(Sqoop.java:226) 
     at org.apache.sqoop.Sqoop.runTool(Sqoop.java:235) 
     at org.apache.sqoop.Sqoop.main(Sqoop.java:244)

Der Inhalt/tmp/Sqoop-Sqoop/Compilieren/bbbd98974f09b50a9335cedde30f73a5 /:

[[email protected] root]$ ls -lrt /tmp/sqoop-sqoop/compile/bbbd98974f09b50a9335cedde30f73a5/ 
total 104 
-rw-r--r--. 1 sqoop hadoop 61005 May 9 13:08 DimSampleDesc.java 
-rw-r--r--. 1 sqoop hadoop 28540 May 9 13:08 DimSampleDesc.class 
-rw-r--r--. 1 sqoop hadoop 9568 May 9 13:08 DimSampleDesc.jar 
-rw-r--r--. 1 sqoop hadoop 3659 May 9 13:09 DimSampleDesc.avsc

Der Inhalt des Lager- dir:

[[email protected] root]$ hadoop fs -ls /dataload/tohdfs/reio/odpdw/may2016 
Found 1 items 
drwxr-xr-x - sqoop hdfs   0 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc 
[[email protected] root]$ 
[[email protected] root]$ hadoop fs -ls /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc 
Found 7 items 
-rw-r--r-- 3 sqoop hdfs   0 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/_SUCCESS 
-rw-r--r-- 3 sqoop hdfs  2660 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00000.avro 
-rw-r--r-- 3 sqoop hdfs 5039870 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00001.avro 
-rw-r--r-- 3 sqoop hdfs 1437143 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00002.avro 
-rw-r--r-- 3 sqoop hdfs 1486327 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00003.avro 
-rw-r--r-- 3 sqoop hdfs  595550 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00004.avro 
-rw-r--r-- 3 sqoop hdfs  4792 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00005.avro 
[[email protected] root]$ 
[[email protected] root]$

habe ich dann die avsc und andere Dateien manuell kopiert.

[[email protected] root]$ hadoop fs -copyFromLocal /tmp/sqoop-sqoop/compile/d039c1b0b2a2b224d65943df1de34cdd/* /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/

Nun werden alle Dateien an einem Ort:

[[email protected] root]$ hadoop fs -ls /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/ 
Found 11 items 
-rw-rw-rw- 3 sqoop hdfs  3659 2016-05-09 13:49 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/DimSampleDesc.avsc 
-rw-rw-rw- 3 sqoop hdfs  28540 2016-05-09 13:49 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/DimSampleDesc.class 
-rw-rw-rw- 3 sqoop hdfs  9568 2016-05-09 13:49 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/DimSampleDesc.jar 
-rw-rw-rw- 3 sqoop hdfs  61005 2016-05-09 13:49 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/DimSampleDesc.java 
-rw-rw-rw- 3 sqoop hdfs   0 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/_SUCCESS 
-rw-rw-rw- 3 sqoop hdfs  2660 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00000.avro 
-rw-rw-rw- 3 sqoop hdfs 5039870 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00001.avro 
-rw-rw-rw- 3 sqoop hdfs 1437143 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00002.avro 
-rw-rw-rw- 3 sqoop hdfs 1486327 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00003.avro 
-rw-rw-rw- 3 sqoop hdfs  595550 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00004.avro 
-rw-rw-rw- 3 sqoop hdfs  4792 2016-05-09 13:09 /dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/part-m-00005.avro

Jetzt habe ich den Hive Tisch und beschrieb es:

CREATE EXTERNAL TABLE DimSampleDesc ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED as INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat' TBLPROPERTIES ( 'avro.schema.url'='hdfs://l1031lab.sss.se.com:8020/dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/DimSampleDesc.avsc'); 
OK 
Time taken: 0.166 seconds 
hive> 
hive> 
    > describe formatted DimSampleDesc; 
OK 
# col_name    data_type    comment 


smapiname_ver   string 
smapicolname   string 
charttype    int 
x_indexet    int 
y_indexet    int 
x_tick     string 
y_tick     string 
x_tickrange    string 
x_tickrangefrom   string 
x_tickrangetom   string 
y_tickrange    string 
y_tickrangefrom   string 
y_tickrangetom   string 
indexcount    int 
x_indexcount   int 
y_indexcount   int 
x_symbol    string 
x_symbolname   string 
x_symboldescr   string 
y_symbol    string 
y_symbolname   string 
y_symboldescr   string 
smapiname    string 
incorrect_ver_fl  boolean 


# Detailed Table Information 
Database:    odp_dw_may2016 
Owner:     hive 
CreateTime:    Mon May 09 14:46:40 CEST 2016 
LastAccessTime:   UNKNOWN 
Protect Mode:   None 
Retention:    0 
Location:    hdfs://l1031lab.sss.se.com:8020/apps/hive/warehouse/odp_dw_may2016.db/dimsampledesc 
Table Type:    EXTERNAL_TABLE 
Table Parameters: 
     COLUMN_STATS_ACCURATE false 
     EXTERNAL    TRUE 
     avro.schema.url   hdfs://l1031lab.sss.se.com:8020/dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc/DimSampleDesc.avsc 
     numFiles    0 
     numRows     -1 
     rawDataSize    -1 
     totalSize    0 
     transient_lastDdlTime 1462798000 


# Storage Information 
SerDe Library:   org.apache.hadoop.hive.serde2.avro.AvroSerDe 
InputFormat:   org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat 
OutputFormat:   org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat 
Compressed:    No 
Num Buckets:   -1 
Bucket Columns:   [] 
Sort Columns:   [] 
Storage Desc Params: 
     serialization.format 1 
Time taken: 0.416 seconds, Fetched: 56 row(s) 
hive> 
    >

Aber keine Daten gefunden:

hive> 
    > 
    > select * from DimSampleDesc; 
OK 
Time taken: 0.098 seconds 
hive>

Die Schemadatei:

Was ist die Ursache und wie gehe ich vor?

Quelle

2016-05-09 Kaliyug Antagonist

+0

Von desc formatiert ist, ist die Tabellenposition '/apps/hive/warehouse/odp_dw_may2016.db/dimsampledesc', aber die Daten auch in/DATALOAD-/tohdfs/REIO/odpdw/may2016/DimSampleDesc/ In Ihrer Tabelle Anweisung Put erstellen location = '/ dataload/tohdfs/reio/odpdw/may2016/DimSampleDesc' - das sollte funktionieren –

Antwort

0

Verwenden Sie die gleiche avroschema-Datei, die Sie erhalten, wenn Sie shoop in der Struktur Tabellen darüber erstellen. Sie können dies mit avroools.jar tun.

Überprüfen Sie, ob die Tabelle in SQL Server dieselben Daten enthält.

Quelle

2016-05-09 11:54:00

+0

Ja, ich habe die AVSC-Datei manuell aus dem tmp dir verschoben. zum dir. wo Avro-Dateien gespeichert werden, aber diese manuelle Korrektur muss beseitigt werden. Wie mache ich das ? Die Tabelle ist jetzt erstellt, aber wählen Sie * aus zeigt nichts ... –

+0

'Verwenden Sie die gleiche avroschema-Datei, die Sie erhalten, wenn Sie shoop' war etwas, das ich übersehen habe, danke. –

+0

Hallo, erhalten Sie immer noch die AVR Schema-Datei aus/tmp/Ordner? Sollte nicht in demselben Ordner erstellt werden, in dem Sie den sqoop-Importbefehl ausführen? – dbustosp

0

Ändern --warehouse-dir zu --target-dir in Ihrem sqoop importieren.

Sie haben alle Java-, Jar- und Avro-Dateien in den gleichen Ordner kopiert. Hive möchte unterschiedliche Dateitypen im selben Ordner haben.

Quelle

2016-05-09 15:13:45 vgunnu

 Verwandte Themen

  • Keine verwandten Themen^_^