Verlieren verbleibende Batched SQL-Abfragen, wenn Duplicate Key gefunden

Question

Kann jemand vorschlagen, wie ich Batch-Abfragen in eine Apache Derby DB einfügen und gleichzeitig doppelte Einträge mit guter Leistung behandelt?

Als letzten Ausweg, um Leistung mit der Fähigkeit zu versuchen, doppelte Schlüssel auf INSERT zu umgehen, entschied ich JDBC/Derby sagen mir, wenn eine Batch-Abfrage in einem doppelten Schlüssel führen würde, den Fehler abfangen und dann fortfahren mit den verbleibenden Batch-Abfragen.

Leider, sobald ein Fehler erkannt wird, scheint es, den gesamten Stapel von Abfragen zu löschen, was bedeutet, dass ich alle verbleibenden Datensätze verliere.

Dinge, die ich habe versucht:

• eine programmatische Abfrage durchführen, um zu bestimmen, ob der Eintrag bereits in dort. Dies wurde abgebrochen, da sich die Daten derzeit in einem Stapel befinden, sodass sie nicht erfasst werden.
• Verwenden Sie SQL-Abfragen nur INSERT, wenn der Datensatz nicht bereits vorhanden ist. Dies wurde aufgegeben, weil es zu einer schrecklichen INSERT-Leistung (fast 70%) führte.
• Lassen Sie die DB mir von doppelten Schlüsseln erzählen, fangen Sie den Fehler auf und fahren Sie fort, Stapel zu verarbeiten. Dies wird abgebrochen, da es "vergisst", dass weitere Abfragen im Stapel verarbeitet werden sollen.

Wenn nur Derby INSERT IGNORE unterstützt.

Dank

Answer 1

Die JDBC says, dass es ein Treiber weiterhin Batch-Anweisungen auszuführen, nachdem ein Fehler auftritt:

Wenn einer der Befehle in einer Batch-Update richtig diese Methode ausführen fehlschlägt eine BatchUpdateException auslöst und ein JDBC-Treiber oder die verbleibenden Befehle im Stapel möglicherweise nicht weiter verarbeitet.

Nun ist das Derby docs state dass in Embedded-Modus Batch-Verarbeitung stoppt, wenn ein Fehler auftritt, während der Netzwerktreiber weiter:

Behandlung von Fehlersituationen während der Stapelverarbeitung mit java.sql angetroffen. Statement, java.sql.PreparedStatement und java.sql.CallableStatement ist anders. Mit dem integrierten Treiber Verarbeitung stoppt, wenn ein Fehler auftritt; mit dem Netzwerk-Client Treiber Verarbeitung wird fortgesetzt, aber ein entsprechender Wert wie in definiert die java.sql.Statement api wird in der resultierenden Update-Anzahl Array zurückgegeben.

Aber da Sie stattdessen einfach eine INSERT IGNORE Sie könnten ausführen möchten ein MERGEstatement verwenden, die von Derby unterstützt wird.