Wie können Millionen von Datensätzen aus einer CSV-Datei in eine SQL Server-Datenbank eingefügt werden?

Question

Ich muss 40 Millionen Datensätze aus einer .csv Datei in eine Datenbank einfügen und unten ist der Prozess, den ich befolgte.

• Windows Service 1:

  • die CSV-Lese
  • die Aufzeichnungen Validierung
  • Einfügen gültige Datensätze in Erfolgstabelle (Zwischentabelle) SqlBulkCopy verwenden.

• Windows Service 2.

  • Erste 10 000 Datensätze aus tisch zu einer Zeit
  • eine foreach für diese 10 000
  • lief jeden Datensatz in der Datenbank zu senden in die Haupt einfügen Tabelle.

Windows Service 1 dauert ca. 30-40 Min aber Windows-Dienst 2 dauert ca. 5 Stunden die Aufgabe (Mindestzeit) in Anspruch nehmen. Ich habe 2 Möglichkeiten, dies zu tun, kann aber nicht entscheiden, welches besser und offen für Vorschläge ist.

1. Erstellen 4 separaten Windows-Dienst und Verarbeitung 40000 Datensätze gleichzeitig
2. einen Job Uhr verwenden, können wir verwenden, während Schleife
3. Prozedur aufrufen async von Windows-Dienst

Meine größten hier Zweifel, dass wir verwenden Transaktionen in der Prozedur und arbeiten async damit, weil gemäß meiner Annahme, die Transaktion verwendend, die Tabelle sperrt und anderer Prozess darauf arbeiten muss.

Answer 1

Ich denke, Sie verwenden das falsche Werkzeug für diesen Job. C# apps könnten den Trick machen, aber es gibt einen viel leistungsfähigeren Weg, dies mit Integrationsdiensten zu tun.

Ich rate hier, aber diese Tabellen in der Mitte sind zu transformieren oder zu überprüfen, oder vielleicht den Import down down?

SSIS kann all diese Dinge mit Log Limit und SQL Bulk Import Tools machen. Momentan mache ich Krankenhausdatenimporte, die jede Nacht etwa 8.000.000 Datensätze sind und ich brauche nur Minuten, nicht Stunden.

Eine gute Lese auch um wie SQL beschäftigt sich mit solchen großen Dateneingänge ist this article