ETL-Framework zum Laden von Daten in Rails App

Question

Ich muss Daten für meine Rails-Anwendung von mehreren Anbietern (REST/SOAP-basierte XML-Feeds) in die Datenbank auf einer wiederkehrenden Basis laden. Ich habe eine Reihe von Rake-Aufgaben geschrieben, die von Cron-Jobs ausgelöst werden, die wann immer generiert werden. Jede Aufgabe trifft den Partnerfeed-Endpunkt, analysiert den Feed und lädt ihn in die Datenbank.

Anstatt Rake-Aufgaben zu schreiben, sollte ich stattdessen ein ETL-Framework wie ActiveWarehouse() verwenden? Irgendwelche Vorschläge für den besten Weg, dies in Rails zu tun?

Answer 1

Wenn Sie nur Daten in eine Reihe von Tabellen laden, und der Anwendungsfall ist einfach, wie nur neue Datensätze hinzufügen oder grundlegende aktualisieren, und Ihre Ladung erfüllt Ihre Anforderungen, würde ich dabei bleiben. Sie könnten sicherlich ActiveWarehouse auch verwenden, aber es klingt wie Overkill. Wenn Sie jedoch Änderungen der Dimensionen (dh das Speichern der Historie von Datenänderungen im Laufe der Zeit) oder andere "Data Warehouse" -Funktionen unterstützen müssen, beginnt etwas wie ActiveWarehouse mehr Wert zu haben.