Azure-Architektur zum zuverlässigen Importieren großer Mengen von XML-Dateien in eine Azure SQL-Tabelle

Question

Ich suche nach Architekturelementen und Richtlinien zum Importieren großer Mengen von XML-Dateien in eine SQL Azure-Tabelle.

Im Folgenden sind die Eigenschaften des XML-Dateiformat und Eingabe:

• Die XML-Dateien sind nicht groß.
• Das Schema der XML-Dateien ist sehr einfach und gut definiert.
• Es gibt eine große Anzahl von XML-Dateien werden in einen Blob-Speicher kopiert alle Stunde.

Ich hatte gehofft, Azure Stream Analytics mit BLOB-Speichereingang als perfekte Lösung zu verwenden. Allerdings ist Azure-Stream Analytics nicht XML-Format unterstützen :(

Ich bin sehr wohl bewusst SSIS Option, aber SSIS ist ein IaaS und ich bin für Azure basierte PaaS Option

Was sind meine Azure PaaS. Architektur Optionen?

Answer 1

Können Sie es nicht einfach direkt in SQL DB schreiben? Die XML-Datentyp-Funktion in der SQL DB sollte für das Parsen ausreichen. Dies bietet einige Beispielcode: http://www.sqlserver.info/syntax/parse-xml-with-sql-server/

Wenn Sie nicht vor dem Blob-Speicher steuern, als Sie einige Optionen für das Verfolgen von Änderungen und das Pumpen der Daten an SQL DB haben. Am einfachsten ist wahrscheinlich nur ein WebJob, der an den Blob gebunden ist: Dies sollte Ihnen den Anfang machen: https://github.com/Azure/azure-webjobs-sdk-samples/tree/master/BasicSamples/BlobOperations Es gibt immer noch ein bisschen Latenz im

HTH.

Answer 2

Die empfohlene Lösung ist, dass Sie Azure Daten Fabrik verwenden, um Datentransformationen vor der Einnahme von Stream-Analytic ausführen, obwohl Daten Factory wird gerne die Daten direkt in eine SQL-Tabelle senden.

Es gibt eine guter Blogpost Solving the “big legacy data” problem using Azure Data Factory…, der alles erklärt