Wie mehrere ZIP-Dateien in HDFS entpacken

ich mehrere ZIP-Dateien in HDFS enthält zwei Arten von Dateien (A.csv & B.csv)Wie mehrere ZIP-Dateien in HDFS entpacken

HDFS Lage

/data/jan.zip --> contains A.csv & B.csv 
/data/feb.zip --> contains A.csv & B.csv

ich die Dateien extrahieren möchten zum HDFS-Standort wie unten

/data/jan/A.csv 
/data/jan/B.csv 
/data/feb/A.csv 
/data/feb/B.csv

Ich bin auf der Suche nach s ome Befehl wie unten in jedem Tech (Funke, Schwein, bienenstock, ..)

hadoop fs -unzip hdfs://..../abc.zip

Quelle

2016-05-06 Munesh

Kontrolle dieses http://blog.puneethabm.in/hadoop-hdfs-commands/ – BruceWayne

habe ich versucht, die in dem Blog-Befehl, aber es hat nicht funktioniert. Es erstellt einige TXT-Datei mit dem Header der Zip-Datei und zufällige Zeichen – Munesh

können Sie mit UNIX pipes. In Ihrem Fall müssen Sie durch Datenordner in hdfs Schleife und für jede Postleitzahl Sie wie folgenden Befehl Beispiel ausführen müssen

Zum Beispiel: hadoop fs -cat abc.zip | unzip -d xxxx | hadoop fs -put src dest

Sie können IdentityMapper verwenden, dies kann etwas seltsam sein.
Sie können versuchen FileUtils über Java, die unten Methoden hat. Ich habe in Hadoop API gesucht und ich habe dies habe ich nicht versucht, aber nach doc kann es funktionieren.

Quelle

2016-05-07 17:21:57

Erste Option hat nicht funktioniert. Können Sie bitte überprüfen Sie es einmal lassen Sie mich wissen – Munesh

@Munesh: War meine Antwort hilfreich? Wenn ja, können Sie pls. Akzeptiere es –

Beim Ausführen des angegebenen Befehls hadoop fs .., wird unten der Fehler ausgelöst. Fehler: muss das Verzeichnis angeben, in das mit der Option -d extrahiert werden soll Setzen: '

/test ': Keine solche Datei oder Verzeichnis cat: Kann nicht in Ausgabestrom schreiben. Können Sie bitte chk einmal lassen Sie mich wissen, was fehlt mir b4 die Antwort zu akzeptieren? – Munesh

Wie mehrere ZIP-Dateien in HDFS entpacken

Antwort

Verwandte Themen