Sqoop Import ohne Split von

Question

Ich versuche, eine Teradata-Tabelle zu importieren, die einen zusammengesetzten Schlüssel als Primärschlüssel hat. Daher setzen Sie den --num mapper 1 und führen ihn ohne den Parameter --split-by aus. Ich stoße jedoch auf das folgende Problem. Bitte helfen Sie.

Error: java.io.IOException: SQLException in nextKeyValue 
    at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) 
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556) 
    at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80) 
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91) 
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) 
    at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) 
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1709) 
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162) 
Caused by: com.teradata.jdbc.jdbc_4.util.JDBCException: [Teradata Database] [TeraJDBC 14.00.00.01] [Error 3707] [SQLState 42000] Syntax error, expected something like a name or a Unicode delimited identifier between the word 'Record' and the 'Start' keyword. 
    at com.teradata.jdbc.jdbc_4.util.ErrorFactory.makeDatabaseSQLException(ErrorFactory.java:307) 
    at com.teradata.jdbc.jdbc_4.statemachine.ReceiveInitSubState.action(ReceiveInitSubState.java:102) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.subStateMachine(StatementReceiveState.java:298) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.action(StatementReceiveState.java:179) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementController.runBody(StatementController.java:120) 
    at com.teradata.jdbc.jdbc_4.statemachine.StatementController.run(StatementController.java:111) 
    at com.teradata.jdbc.jdbc_4.TDStatement.executeStatement(TDStatement.java:372) 
    at com.teradata.jdbc.jdbc_4.TDStatement.prepareRequest(TDStatement.java:541) 
    at com.teradata.jdbc.jdbc_4.TDPreparedStatement.<init>(TDPreparedStatement.java:96) 
    at com.teradata.jdbc.jdk6.JDK6_SQL_PreparedStatement.<init>(JDK6_SQL_PreparedStatement.java:21) 
    at com.teradata.jdbc.jdk6.JDK6_SQL_Connection.constructPreparedStatement(JDK6_SQL_Connection.java:76) 
    at com.teradata.jdbc.jdbc_4.TDSession.prepareStatement(TDSession.java:1491) 
    at org.apache.sqoop.mapreduce.db.DBRecordReader.executeQuery(DBRecordReader.java:101) 

Answer 1

Sie --split-by OR --boundary-query Option verwenden, unabhängig davon, --num-mappers OR -m Option.

Split-Spalte ist nicht unbedingt gleich PK. Sie können komplexe PK- und einige int Split-Spalten haben. Verwenden Sie jedoch eine der Spalten aus dem zusammengesetzten Schlüssel als --split-by Option.

--split-by ~~> Spalte der Tabelle verwendet, um Arbeitseinheiten

auch --boundry-query + --split-by wenn oben Option versuchen aufgeteilt (nur --split-by) nicht funktioniert:

sqoop import \ 
    --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \ 
    --username=retail_dba \ 
    --password=cloudera \ 
    --table departments \ 
    --target-dir /user/cloudera/departments \ 
    -m 2 \ 
    --boundary-query "select 2, 8 from departments limit 1" \ 
    --split-by department_id 

standardmäßig Sqoop wird verwenden Abfrage select min(<split-by>), max(<split-by>) from <table name>, um Grenzen zum Erstellen von Splits zu finden. In einigen Fällen ist diese Abfrage nicht optimal, sodass Sie beliebige Abfragen angeben können, die zwei numerische Spalten mit dem Argument --boundary-query zurückgeben.

prüfen detaillierte Erläuterung hier: https://stackoverflow.com/a/37389134/2079249

selecting_the_data_to_import

Answer 2

Versuchen -m1 in Ihrem Sqoop Befehl statt - num Mapper 1.