orientdb- ETL Import vs Java-Import mit eingebetteter db

Question

ich ein Data-Mining-Tool am Prototyping bis zur Ernte von Daten aus mehreren Quellen

1) MySQL db - 2.000.000 Ecken 20.000.000 Kanten 2) benutzerdefinierten Daten Dateien- - 2.000.000 Ecken 700.000.000 Kanten 3) verschiedene benutzerdefinierte Datendateien - 300000 Ecken 500.000.000 Kanten

Aus anwendungstechnischer Sicht ist es besser, mit eingebetteten db ETL oder benutzerdefinierter Java Lader zu benutzen?

Es ist leicht, die Daten aus den benutzerdefinierten Datendateien in CSV oder JSON

Answer 1

ich den ETL-Maintainer bin zu transformieren, andere als Format Eingangsdaten I Sorgfalt auf, welche Art von Transformation nehmen würde Ihre Datensätze benötigen, und Wie oft müssen Sie Daten verschieben?

ETL ist konfigurierbar, um einige Transformationen durchzuführen, und Sie können es mit einer plocal db verwenden, um maximale Leistung zu erreichen. Wenn Sie häufig oder sehr komplexe Transformationen erneut importieren müssen oder wenn Ihr Datenformat von Zeit zu Zeit variieren kann, können Sie ein benutzerdefiniertes Java-Programm schreiben.