Wann AzureQueueSink zu verwenden ist

Question

Ich bin dabei, ein vorhandenes Azure Data Factory-Projekt in meiner Lösung zu integrieren. Während ich die Data Factory Pipelines beobachtete, sah ich, dass alle Pipelines SqlSource verwenden und das Ziel ist AzureQueueSink.

Die Eingabedatensätze sind 1. on-prem Tabelle 2. Die Ausgabe einer gespeicherten Prozedur

Der Ausgang ist eine Azure SQL-Tabelle.

Nun bin ich verwirrt, wenn ich diese AzureQueueSink verwenden, die ich auf Google überprüft habe, aber ich habe keine Informationen über den Anwendungsfall dafür gefunden.

Unten ist die Beispiel-Pipeline-Aktivität.

{ 
    "$schema": "http://datafactories.schema.management.azure.com/schemas/2015-09-01/Microsoft.DataFactory.Pipeline.json", 
    "name": "OnPremToAzureList", 
    "properties": { 
    "activities": [ 
     { 
     "type": "SqlServerStoredProcedure", 
     "typeProperties": { 
      "storedProcedureName": "dbo.TruncateStgTable", 
      "storedProcedureParameters": { "TableName": "[dbo].[List]" } 
     }, 
     "inputs": [ 
      { 
      "name": "AzureSqlTableStart" 
      } 
     ],  
     "outputs": [ 
      { 
      "name": "AzureSqlTableTruncate" 
      } 
     ], 
     "scheduler": { 
      "frequency": "Day", 
      "interval": 1 
     }, 
     "name": "SPTruncateStgTable" 
     },  
     { 
     "name": "CopyActivityList", 
     "type": "Copy", 
     "inputs": [ 
      { 
      "name": "OnPremList" 
      }, 
      { 
      "name": "AzureSqlTableTruncate" 
      } 
     ], 
     "outputs": [ 
      { 
      "name": "AzureSqlTableList" 
      } 
     ], 
     "typeProperties": { 
      "source": { 
      "type": "SqlSource", 
      "sqlReaderQuery": "select * from dbo.List" 
      }, 
      "sink": { 
      "type": "AzureQueueSink", 
      "writeBatchSize": 1000, 
      "writeBatchTimeout": "00:30:00" 
      } 
     }, 
     "policy": { 
      "concurrency": 1, 
      "executionPriorityOrder": "OldestFirst", 
      "retry": 1, 
      "timeout": "01:00:00" 
     }, 
     "scheduler": { 
      "frequency": "Day", 
      "interval": 1 
     } 
     } 
    ] 
    } 
} 

Jede Hilfe wird sehr geschätzt.

Answer 1

Bitte verwenden Sie AzureQueueSink nicht als Kopie in Azure Queue wurde nicht ausgeliefert und wir haben keine Pläne, es zurückzubringen. Es ist versehentlich in unser Sdk/Schema gelandet :)

Dieser Sink-Typ gibt Ihnen jetzt unbestimmbares Verhalten, das funktioniert, aber dieses Verhalten soll nicht zu lange dauern.