hadoop

3Hitze

1Antwort

Wie zähle ich die Anzahl der Dateien in einem bestimmten Verzeichnis in hadoop?

Ich bin neu im Map-Reduce-Framework. Ich möchte die Anzahl der Dateien in einem bestimmten Verzeichnis herausfinden, indem ich den Namen dieses Verzeichnisses zur Verfügung stelle. z.B. Nehmen wir an,

2Hitze

2Antwort

Hadoop-Installationsproblem unter Windows

Ich habe seit einiger Zeit versucht, Hadoop unter Windows 7 zu installieren. Ich folge diesem blog für Anweisungen. Aber leider konnte ich die Namenode nicht ausführen. Es scheint ein Problem mit hdfs

0Hitze

2Antwort

Kann ich die Hive-Partitionsspalten, die den in Quellen (Teradata) -Tabellen vorhandenen Partitionsspalten ähneln, direkt betrachten?

Kann ich die Hive-Partitionsspalten, die den in meinen Quellentabellen (Teradata) vorhandenen Partitionsspalten ähneln, direkt betrachten? Oder muss ich irgendwelche anderen Parameter berücksichtigen,

2Hitze

3Antwort

an ORC-Datei anhängen

Ich bin neu bei Big Data und verwandten Technologien, daher bin ich nicht sicher, ob wir Daten an die vorhandene ORC-Datei anhängen können. Ich schreibe die ORC-Datei mit Java API und wenn ich den Wri

0Hitze

1Antwort

Schwein überschreiben Daten in Bienenstock mit LOAD

Ich bin neu zu Schwein und Bienenstock, ich muss die Daten von CSV-Datei auf hdfs in der Bienenstock-Tabelle mit Schweine laden-laden laden. für die ich bin mit load_resource_csv = LOAD '/user/hadoop/

0Hitze

1Antwort

Was bedeutet ein Funkencluster?

Ich habe Funken auf meinem lokalen Rechner mit Python für analytische Puprosen verwendet. Kürzlich habe ich die Worte "Funken Cluster" gehört und ich fragte mich, was es genau ist? Läuft Spark nur auf

0Hitze

2Antwort

Wie lese ich die Hadoop-Map-Datei mit Python?

Ich habe Map-Datei, die mit DefaultCodec Block komprimiert ist. Die Map-Datei wird von Java-Anwendung wie folgt erstellt: MapFile.Writer writer = new MapFile.Writer(conf, path, MapFile

2Hitze

1Antwort

Themen in Hadoop

Am verwirrt sich mit wenigen Parametern in hdfs-site.xml, dfs.namenode.handler.count - Die Anzahl der Server-Threads für die NameNode. dfs.datanode.handler.count - Die Anzahl der Server-Threads für de

0Hitze

1Antwort

Wo ein replizierter Block physisch zu finden ist

Ich habe 2 Datenknoten + 1 Namen in meinem Cluster. Ich kann sehen, dass meine Datei email.json auf beiden Datenkanälen repliziert wird. Ich kann die Standorte hier basierend auf der fsck-Ausgabe sehe

0Hitze

1Antwort

Hive gibt einen Fehler aus, wenn eine Anzahl bestimmter Zeilen aus einer Tabelle abgerufen wird

Ich schreibe eine Abfrage, um die Anzahl der einzelnen Zeilen in Hive zu ermitteln. select count(*) from (select distinct uid, site, local_date, mktg_chnnl_name, mktg_su