Wie man die Kodierung einer Datei von 'application/octet-stream' in 'text/plain' in hadoop hdfs ändert

Question

Ich benutze Azure Blob Speicher als meine hadoop hdfs Dateiverzeichnis. Wenn ich die Eingabedatei vom lokalen Computer über die Eingabeaufforderung an den Azure Blob-Speicher übergebe, wird der Inhaltstyp in 'application/octet-stream' geändert, wodurch er nicht mehr geteilt werden kann.

Wie ändere ich die Codierung einer hdfs-Datei?

Answer 1

Sie können die Azure-CLI zum Hochladen eines Blobs in Azure Storage verwenden. Wenn Sie eine TXT-Datei haben, lädt dieses Skript die Datei als Text-/Inhaltstyp.

#!/bin/bash 
# A simple Azure storage example 

export AZURE_STORAGE_ACCOUNT=<storage_account_name> 
export AZURE_STORAGE_ACCESS_KEY=<storage_account_key> 

export container_name=<container_name> 
export blob_name=<blob_name> 

export image_to_upload=\Downloads\\uploadtest.txt 

echo "Creating the container..." 
azure storage container create $container_name 

echo "Uploading the image..." 
azure storage blob upload $image_to_upload $container_name $blob_name 

echo "Listing the blobs..." 
azure storage blob list $container_name 

echo "Done" 

Es gibt keine Möglichkeit, den Inhaltstyp während des Uploads zu ändern. Wenn Sie einen anderen Dateityp als Text verwenden, müssen Sie Ihre Datei vor dem Hochladen oder Konvertieren Ihres Blobs nach dem Hochladen konvertieren.

Ressourcen:

Azure Docs - CLI Install

Azure Docs - How to upload