Azure Data Factory rekursive Kopie aus dem Container

Question

Hallo Ich verwende Azure Data Factory für eine Kopie Aktivität. ich die Kopie soll über einen Container rekursiv sein und es Unterordner wie folgt: myfolder/Jahr/Monat/Tag/Stunde}

/New_Generated_File.csv

die Dateien, die ich zu erzeugen und in den Ordner zu importieren haben immer eine anderer Name.

Das Problem ist, dass Aktivität auf ewig zu warten scheint.

Die Pipeline ist stündlich geplant.

Ich füge den JSON-Code des Datasets und den verknüpften Dienst an.

Datensatz:

{ 
"name": "Txns_In_Blob", 
"properties": { 
    "structure": [ 
     { 
      "name": "Column0", 
      "type": "String" 
     }, 
     [....Other Columns....] 
    ], 
    "published": false, 
    "type": "AzureBlob", 
    "linkedServiceName": "LinkedService_To_Blob", 
    "typeProperties": { 
     "folderPath": "uploadtransactional/yearno={Year}/monthno={Month}/dayno={Day}/hourno={Hour}/{Custom}.csv", 
     "format": { 
      "type": "TextFormat", 
      "rowDelimiter": "\n", 
      "columnDelimiter": " " 
     } 
    }, 
    "availability": { 
     "frequency": "Hour", 
     "interval": 1 
    }, 
    "external": true, 
    "policy": {} 
} 

}

verlinkte Service:

{ 
"name": "LinkedService_To_Blob", 
"properties": { 
    "description": "", 
    "hubName": "dataorchestrationsystem_hub", 
    "type": "AzureStorage", 
    "typeProperties": { 
     "connectionString": "DefaultEndpointsProtocol=https;AccountName=wizestorage;AccountKey=**********" 
    } 
} 

}

Answer 1

Es ist nicht zwingend notwendig, die Dateinamen in der Datenmenge folderPath Eigenschaft zu geben. Einfach den Dateinamen entfernen und dann werden alle Dateien von der datafactory für Sie geladen.

{ 
    "name": "Txns_In_Blob", 
    "properties": { 
    "structure": [ 
     { 
      "name": "Column0", 
      "type": "String" 
     }, 
     [....Other Columns....] 
    ], 
    "published": false, 
    "type": "AzureBlob", 
    "linkedServiceName": "LinkedService_To_Blob", 
    "typeProperties": { 
     "folderPath": "uploadtransactional/yearno={Year}/monthno={Month}/dayno={Day}/hourno={Hour}/", 
     "partitionedBy": [ 
      { "name": "Year", "value": { "type": "DateTime", "date": "SliceStart", "format": "yyyy" } }, 
      { "name": "Month", "value": { "type": "DateTime", "date": "SliceStart", "format": "%M" } }, 
      { "name": "Day", "value": { "type": "DateTime", "date": "SliceStart", "format": "%d" } }, 
      { "name": "Hour", "value": { "type": "DateTime", "date": "SliceStart", "format": "hh" } } 
     ], 
     "format": { 
      "type": "TextFormat", 
      "rowDelimiter": "\n", 
      "columnDelimiter": " " 
     } 
    }, 
    "availability": { 
     "frequency": "Hour", 
     "interval": 1 
    }, 
    "external": true, 
    "policy": {} 
} 

Mit dem obigen folderPath wird es die Laufzeitwert uploadtransactional/yearno=2016/monthno=05/dayno=30/hourno=07/ für eine Pipeline erzeugen, die jetzt UTC-Zeitzone führt