distcp

3Hitze

2Antwort

DistCp Fehlertoleranz zwischen zwei Remote-Clustern

Ich muss ein Verzeichnis von einem Cluster zu einem anderen mit ähnlichen HDFS kopieren (beide sind MAPR-Cluster). Ich bin geplant, DistCp Java API zu verwenden. Aber ich wollte doppelte Kopien von Da

0Hitze

1Antwort

Karte Job in Java für distcp reduzieren

Ich versuche, Daten von einem Cluster zu einem anderen auf täglicher Basis zu kopieren. Gesucht viel, aber jeder schlägt vor, die Hauptfunktion von DistCp mit Argumenten aufzurufen. Ich habe Java-Code

1Hitze

1Antwort

Wie EMR S3DistCp groupBy richtig?

Ich benutze aws .net SDK, um einen s3distcp-Job zu EMR zu führen, um alle Dateien in einem Ordner mit --groupBy arg zu verketten. Aber was auch immer "groupBy" arg Ich habe versucht, es fehlgeschlagen

0Hitze

2Antwort

Ändern Sie den Ziel-Dateinamen/Speicherort in distcp

Ich habe eine Reihe von Dateien in einem Ordner in hdfs mit ihren Namen ein Format Dateiname.JJJJ-MM-TT-hh.Maschinenname.gz in hdfs. Ich muss diese auf s3 übertragen, aber ich möchte sie auf yyyy/mm/d

0Hitze

2Antwort

s3-dist-cp und hadoop distcp job endlos in EMR

Ich versuche, 193 GB Daten von s3 nach HDFS zu kopieren. Ich laufe die folgenden Befehle für s3-distcp und hadoop distcp: s3-dist-cp --src s3a://PathToFile/file1 --dest hdfs:///user/hadoop/S3CopiedFil

0Hitze

3Antwort

HDFS bis s3 Distcp - Access Keys

Für die Datei von HDFS S3 Eimer Kopieren verwendete ich den Befehl hadoop distcp -Dfs.s3a.access.key=ACCESS_KEY_HERE\ -Dfs.s3a.secret.key=SECRET_KEY_HERE /path/in/hdfs s3a:/BUCKET NAME Aber der Zug

2Hitze

1Antwort

Does distcp in Hadoop ENCRYPT Daten beim Transport von einem Cluster zum anderen

Ich würde gerne wissen, ob Distcp Option zum Verschlüsseln von Daten beim Transport von einem Cluster zum anderen hat. Ich habe erfahren, dass es die Verschlüsselung im S3-Cluster unterstützt, aber da

0Hitze

1Antwort

Hadoop distcp mit Dateiliste

Ich würde Distcp verwenden, um eine Liste von Dateien (> 1K-Dateien) in hdfs zu kopieren. Ich habe bereits eine Liste von Dateien im lokalen Verzeichnis gespeichert. Kann ich jetzt -f verwenden, um al

5Hitze

1Antwort

distcp mit Fehler Fehler "Kein Platz auf dem Gerät links"

Ich bin Kopieren HDFS Snapshot S3 Eimer, unter Fehler bekommen: Der Befehl i Ausführung bin ist: hadoop distcp /.snapshot/$SNAPSHOTNAME s3a: // $ ACCESSKEY : $ SecretKey @ $ WANNE/$ SNAPSHOTNAME 15/08

0Hitze

2Antwort

Wie Distcp von Cloudera zu Hortonwork

Ich versuche, von Cloudera zu Hortonwork zu distcp, aber erhalten folgenden Fehler. Ich habe versucht mit webhdfs und hftp, aber kein Glück. enter image description here Könnte jemand mir dabei helfen