HDInsight in der Azure Data Factory-Struktur CREATE EXTERNAL TABLE ... LOCATION: Kein Dateisystem für Schema: adl

Question

Ich habe eine Data Factory-Pipeline mit einer HD Insight-Pipeline, die versucht, auf ein Azure Data Lake-Verzeichnis zuzugreifen.

"type": "HDInsightHive", 
      "typeProperties": { 
       "scriptPath": "mpp-hive-scripts/parse_log.q", 
       "scriptLinkedService": "AzureStorageLinkedService", 
       "defines": { 
        "inputtable": "adl://mppmetering.azuredatalakestore.net/hour=23", 
        "outputtable": "wasb://mpp-metering-hive-output@mppmetering.blob.core.windows.net/output/" 
       } 
      }, 

bekomme ich folgende Fehlermeldung, wenn ich diese Pipeline laufen:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.io.IOException No FileSystem for scheme: ad 

Dies funktioniert in einer Pipeline, die einen Azure Blob Speicher mit der folgenden Spezifikation greift:

"type": "HDInsightHive", 
      "typeProperties": { 
       "scriptPath": "mpp-hive-scripts/parse_log.q", 
       "scriptLinkedService": "AzureStorageLinkedService", 
       "defines": { 
        "inputtable": "wasb://mpp-metering-live@mppmetering.blob.core.windows.net/hour=23", 
        "outputtable": "wasb://mpp-metering-hive-output@mppmetering.blob.core.windows.net/output/" 
       } 
      }, 

Beliebig Hilfe wäre willkommen. js

Answer 1

Derzeit unterstützt Azure Data Factory den Verweis auf ADL Store in Hive-Skripts nicht. Der einzige unterstützte Speicher ist Blob Storage (Wasb). Dies ist der Grund, warum Sie den Fehler sehen. Sie müssen Blob-Speicher (Wasb-Links) in Ihrem 'Definieren' Abschnitt verwenden. Wenn die Daten in den ADL-Speicher gelandet werden sollen, können Sie die Aktivität "Kopieren" in ADF verwenden, um die Daten vom Blob-Speicher in den ADL-Speicher zu verschieben.