SQL Data Verification Framework?

Question

Ich erhalte eine Vielzahl von flachen Dateien, die in mehreren Etappen eines ETL-Prozesses umgewandelt und aggregiert werden müssen, bevor sie in eine SQL Server-Datenbank geladen werden.

Nach jeder Phase möchte ich die Daten auf verschiedene Arten verifizieren und suche nach vorhandenen Technologien, die helfen können.

Nach dem Empfang der Daten muss sie für Dinge wie abgeschnittene Daten, Datumsformatierung und allgemein dafür, dass die Daten für die Umwandlung bereit sind, validiert werden.

Nachdem die Daten auf diese Weise bereinigt wurden, möchte ich die Daten überprüfen. Dies würde darin bestehen, Werte wie Zeilenanzahlen,% Nullen, Durchschnittswerte usw. mit früheren Lasten oder vordefinierten Werten zu vergleichen. Wenn die Überprüfung fehlschlägt, sollte der Entwickler benachrichtigt werden.

tSQLt, die Datenbank-Einheit testen Framework, hat mehrere Aussagen, die verwendet werden können, um zu tun, was ich will. Es ist einfach einzurichten und hat eine anständige Dokumentation. Dies ist das nächste Werkzeug, das ich sehen kann, aber es ist ein langer Weg von dem, wofür es entworfen wurde.

Die Alternative ist, mein eigenes Werkzeug zu erstellen, aber ich möchte wissen - existiert so etwas schon?

Answer 1

Nach ein wenig Suche fand ich eine kommerzielle Lösung, die das Problem lösen würde: QuerySurge. Es gibt ein paar ähnliche Tools wie dieses (ETL validator), obwohl es behauptet, einzigartige Software zu sein.

Es funktioniert durch:

• Mit Satzvergleich zwischen zwei Abfragen, Aufhellen Fehler, wenn sie nicht Spiel tun. Dies könnte eine Zeilenzählung vor/nach Transformationen sein, oder Das einfache Überprüfen eines Ergebnisses gibt nichts zurück.

• Abfragen können für jede JDBC-kompatible Datenquelle unter Verwendung von ANSI SQL und jeder verbindungsspezifischen SQL durchgeführt werden. Die Ergebnisse werden auf einem separaten Server mit einem MySql-Backend gespeichert und Sie können entweder selbst hosten oder ihre Server verwenden.

• Es ermöglicht die Verwendung von Befehlszeilen und unterstützt daher fortlaufende Integrationstools.

• Ein nettes Feature ist die Gruppierung von Tests (Testsuiten), obwohl es nicht klar ist, wie sich die Ergebnisse einer Gruppe auf einen Gesamttest auswirken würden.

• Die integrierten Reporting-Tools sehen auch gut aus.

Das ist die Mehrheit von dem, was ich von der Website erfasste. Ich habe die Testversion nicht heruntergeladen, da die Software selbst außerhalb meiner Preisspanne liegt.

Das Werkzeug ist im Prinzip nicht kompliziert, und wir werden unser eigenes Framework entwickeln, um damit fertig zu werden.