hdfs

0Hitze

1Antwort

Probieren Import Tabelle von MySQL mit sqoop

Hier versuche ich, Datenbank von MySQL mit sqoop zu importieren. Wenn ich versuche, bekomme ich einen Fehler. Kann mir bitte helfen [[email protected] ~]# sqoop import-all-tables -m 12 --connect "jdb

0Hitze

1Antwort

UnsupportedOperationException, wenn der Zugang webhdfs

Im bekommen diese Fehler beim Zugriff http://localhost:50070/webhdfs/v1 { "RemoteException": "exception":"UnsupportedOperationException", "javaClassName":"java.lang.UnsupportedOperationException"

0Hitze

1Antwort

Was ist die Festplattenstrategie von HDFS-Datenknoten, wenn mehrere Festplatten und Blockverzeichnisse vorhanden sind?

Zum Beispiel, ich habe zwei Festplatten/dev/sda,/dev/sdb, Die Abbildung der Vorrichtung und die Block Verzeichnisse sind wie folgt /dev/sda /data/1/dns/dn /dev/sdb /data/2/dns/dn Die Bedingungen si

2Hitze

1Antwort

Was ist die empfohlene Methode zum Anhängen an HDFS-Dateien?

Ich habe Probleme herauszufinden, eine sichere Methode zum Anhängen an Dateien in HDFS. Ich benutze eine kleine, 3-node Hadoop cluster (CDH v.5.3.9 to be specific). Unser Prozess ist ein Datenpipeline

1Hitze

1Antwort

Zugriff auf Video in HDFS gespeichert über http

Ich möchte auf Videos zugreifen, die in HDFS & gespeichert sind, zeigen Sie sie in einem Webbrowser. Ich habe dieses Projekt (https://github.com/yeleaveszi/Play-Videos-In-HDFS) auf GitHub gefunden, wa

0Hitze

1Antwort

hdfs entfernen Verzeichnisse älter als 7 Tage

I Archiv Verzeichnisstruktur wie /archivedData/Mappings/Web/NOW/, wo NOW aktuelles Datum: NOW=$(date +"%Y%m%d%H%M"). Ich muss NOW Verzeichnisse löschen, die älter als 7 Tage von hdfs sind.

1Hitze

2Antwort

Kopieren lokaler Datei in hdfs erfordert auf hdfs-Cluster zu sein?

Ich verstehe, dass CopyFromLocal oder Put-Befehl verwendet wird, um lokale Dateien in HDFS zu kopieren. Meine Frage ist, wenn man im Cluster sein muss, wenn wir den Befehl ausführen wollen, um Dateien

0Hitze

1Antwort

"Eine bestehende Verbindung wurde von der Software in Ihrem Hostcomputer abgebrochen" beim Kopieren von Datei nach Hadoop HDFS aus dem Java-Code

Ich probiere etwas einfachen Java-Code aus, um eine Datei von meinem lokalen System nach HDFS zu kopieren. Dies ist, wie meine einfache Methode wie folgt aussieht: private static void copyFileToHDFS()

0Hitze

2Antwort

Nameode Dateieinteilung in Blöcke

Ich bin mir bewusst, dass eine Datei in Blöcke von Name Node aufgeteilt wird, während in HDFS gespeichert. Aber wenn die Datei geteilt wird, besteht die Möglichkeit, dass ein Block einen Teil der Lini

0Hitze

1Antwort

Wiederherstellen der Hive-ORC-Tabelle nach dem Ändern der Quellenposition?

Angenommen, Sie haben zwei externe Hive-ORC-Tabellen. Beide haben das gleiche Schema mit gleichen Datentypen, gleichen Partitionen und gleichen Buckets. Ich versuche, Tabelle A zu löschen und den Spei