hdfs

1Hitze

1Antwort

So verschieben Sie den HDFS-Namenknoten auf einen neuen Host

Was sind die korrekten Schritte zum Verschieben eines primären Hadoop-DFS-Namenscodes von einem Host zu einem anderen? Ich benutze die Version 2.7.1 von hadoop auf Ubuntu 14.04.3 LTS (ohne YARN). Schr

-1Hitze

1Antwort

Können Sie einen Ratschlag zum Entwerfen meiner Spark Stream-Quelle geben?

Ich werde versuchen, meine Anforderung so gut wie möglich zu beschreiben. Aber bitte frag mich, ob es noch unklar ist. Die Umgebung Ich habe 5 Knoten (mehr in der Zukunft sein wird). Jeder von ihnen e

2Hitze

1Antwort

ChainReducer.setReducer Methode wirft Fehler "ChainReducer ist nicht anwendbar für die Argumente"

Ich habe zwei Mapper-Klassen. So verwendet ChainMapper.addMapper Methode, um Mapper und ChainReducer.setReducer Methode Reducer zu setzen. ChainMapper.addMapper Methode ist OK aber Chain.setReducer Me

0Hitze

1Antwort

Zookeeper zum Sperren von mehreren Ressourcen

Mein Szenario ist wie folgt: Ich habe 5 Linux-Rechner und ich habe 10 (könnte mehr als das sein) Dateien in HDFS. Meine Anforderung ist, dass ein einzelner Rechner eine Datei sperren und verarbeiten s

3Hitze

1Antwort

Spark Partitionierung für Datei schreiben ist sehr langsam

Beim Schreiben einer Datei in HDFS mit Spark, ist dies ziemlich schnell, wenn keine Partitionierung verwendet. Wenn ich stattdessen die Partitionierung zum Schreiben der Datei verwende, erhöht sich di

0Hitze

1Antwort

Fehler beim Übergeben Zweite Bedingung in Where-Klausel in shooop Import Teiltabelle

Ich versuche, eine partielle Tabelle von MySQL in HDFS-Datenbank zu importieren. Ich habe versucht Sqoop Import. Es funktioniert, wenn ich nur eine Bedingung in where-Klausel anwende. Aber wenn ich ei

1Hitze

1Antwort

Hadoop IO Fehler: Typenkonflikt in Schlüssel aus der Karte: erwartet org.apache.hadoop.io.Text erhielt RegexMatcher.CustomKey

ich die folgende Fehlermeldung erhalten: java.lang.Exception: java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text, received RegexMatcher.CustomKey at org.apache

1Hitze

3Antwort

Wie finde ich Hadoop hdfs Verzeichnis auf meinem System?

Wie finde ich das Hadoop HDFS-Verzeichnis auf meinem System? Ich muss das folgende Befehl ausgeführt werden soll - hadoop dfs -copyFromLocal <local-dir> <hdfs-dir> In diesem Befehl ich KNON nicht me

0Hitze

1Antwort

kann nicht große Datei auf HDFS Funken Cluster-Master-Knoten

I haben einen Funken laden Cluster auf Amazon EC2, die 1 und 2 Master-Knoten untergeordneten Knoten angefeuert, die jede jedoch 2,7 GB Speicher haben, wenn ich zu setzen versucht eine Datei von 3 GB a

-3Hitze

1Antwort

Könnten Sie mir bitte sagen, wo ich die Ausgabe für das Mapreduce-Programm Wordmedian in hadoop finden würde? Ist es in einem Verzeichnis in HDFS gespeichert?

hadoop jar /usr/jars/hadoop-examples.jar wordmedian [input.txt] aus Ist das der richtige Befehl? So