Impala ODBC-Treiber für mehrere Einfügen

Question

Ich habe ein Problem mit mehreren Einfügungen über odbc Impala (letzte Version).

Ich versuche, zweitausend Zeilen in einer Impala-Tabelle einzufügen (auf Cloudera) mit 4 Spalten, aber ich erhalte zwei Fehler:

[Cloudera] [SQLEngine] (31580) Die Länge der Aussage überschreitet das Maximum: 16384 [Cloudera] [ImpalaODBC] (110) Fehler beim Ausführen einer Abfrage in Impala Ausführung: [HY000]: AnalysisException: Syntaxfehler in Zeile 1: ...

ich verwende Abfrage parametrisiert Abfrage:

INSERT INTO name_table (a,b,c,d) VALUES (?,?,?,?) , (?,?,?,?) , .... 

Jetzt ist meine Frage:

Gibt es eine Möglichkeit, Millionen von Zeilen mit dem ODBC-Treiber ohne einzelne Einsätze einfügen?

Vielen Dank.

Answer 1

Im Moment gibt es maximal 16384 Zeichen für eine Abfrage, die wie eine viel höhere Grenze aussehen sollte. Wir untersuchen derzeit, ob es einen Grund für dieses niedrige Limit gibt.

Das heißt, eine effizientere Möglichkeit, mehrere Werte über ODBC des Einfügens zu verwenden, wäre die Abfrage:

INSERT INTO name_table (a,b,c,d) VALUES (?,?,?,?)

und verwenden Sie dann Array Bindung mehrere Parametersätze auf Ihre Parameter zu binden. Auf diese Weise kann der Treiber die Ausführung intern optimieren, und Sie stoßen nicht auf eine Abfragelängenbeschränkung. Hast du das schon probiert?

Answer 2

hatte ich schon versucht, den folgenden Code auszuführen:

 OdbcCommand oComm = oConn.CreateCommand(); 

     StringBuilder sb = new StringBuilder(); 


     sb.AppendFormat("INSERT INTO {0}.{1} (a,b,c,d) VALUES (?,?,?,?)", dbName, tableName); 



     List<OdbcParameter> psl = new List<OdbcParameter>(1000 * 4); 

     for (int i = 0; i < 1000; i++) 
     { 

      var odbcParameter = new OdbcParameter(); 
      odbcParameter.ParameterName = "@a"; 
      odbcParameter.OdbcType = OdbcType.Text; 
      odbcParameter.Value ="a"+i; 
      psl.Add(odbcParameter); 

      odbcParameter = new OdbcParameter(); 
      odbcParameter.ParameterName = "@b"; 
      odbcParameter.OdbcType = OdbcType.Text; 
      odbcParameter.Value = "b" + i; 
      psl.Add(odbcParameter); 

      odbcParameter = new OdbcParameter(); 
      odbcParameter.ParameterName = "@c"; 
      odbcParameter.OdbcType = OdbcType.Text; 
      odbcParameter.Value = "c" + i; 
      psl.Add(odbcParameter); 

      odbcParameter = new OdbcParameter(); 
      odbcParameter.ParameterName = "@d"; 
      odbcParameter.Value = "d" + i; 
      odbcParameter.OdbcType = OdbcType.Text; 
      psl.Add(odbcParameter); 


     } 


     oComm.Parameters.AddRange(psl.ToArray()); 

     oComm.CommandText = sb.ToString(); 

     oComm.executeNonQUery(); 

Am Ende meine Tabelle besteht aus nur einem Datensatz mit den ersten vier Parameterwerten.

Es ist etwas falsch in meinem Code?

Danke.