12000 Dateien in eine Tabelle importieren

Question

Ich muss eine Streaming-Umgebung für mein Projekt einrichten. Der Datensatz wird als nächstes: http://research.microsoft.com/pubs/152883/User_guide_T-drive.pdf

Ich plane, PostgreSQL und Apache Kafka als Quelle zu verwenden und dann zu Kafka mit Apache Funken oder Flink zu verbinden, aber das Problem ist, dass die Datenmenge um 10 000 Textdateien sind.

Also, die Frage ist, was am effizientesten/elegantesten Weg ist, ~ 10000 Dateien (jeweils um 500 Zeilen) in eine Tabelle zu importieren.

Für jetzt habe ich Python-Skript versucht, mit psycopg2 und executemany Methode (super langsam) und Apache FLink Job mit JDBC-Connector (gute Geschwindigkeit, aber weiß nicht, wie in mehr als 10000 Dateien iterieren ein Job.

Answer 1

eine einfache Lösung wäre es, den Ordner mit Funken lesen und eine ODBC-Verbindung pro Partition öffnen und durchlaufen und jede Zeile schreiben.