apache-spark

1Hitze

1Antwort

Spark (Scala): Berechnen Sitzungslänge des Benutzers in DataFrame mit kontinuierlichen aktiven Stunden

Ich mache gerne die folgende Umwandlung. Wenn ein Datenrahmen angegeben wird, der angibt, ob ein Benutzer jede Stunde aktiv ist, und eine ununterbrochene Anzahl von Stunden, die der Benutzer aktiv ist

0Hitze

1Antwort

Analysiere abstrakte Daten

Ich muss eine Menge von CSV-Dateien verarbeiten, die 3 Spalten enthält: Datum, TV-Kanal-ID, Film-ID. Basierend auf diesen Spalten, muss ich klassifizieren, was das Genre jedes Films und das Genre der

0Hitze

2Antwort

Kann nicht lesen eine Datei aus HDFS mit Spark Shell in Ubuntu

Ich habe Spark und Hadoop in Standalone-Modi auf Ubuntu Virtualbox für mein Lernen installiert. Ich bin in der Lage, normale hadoop mapreduce-Operationen auf hdfs ohne Funken durchzuführen. Aber wenn

14Hitze

3Antwort

Spark 1.5.2: org.apache.spark.sql.AnalysisException: nicht aufgelöster Operator 'Union;

0Hitze

1Antwort

Müssen Spark-RDD-Tupelfelder serialisierbar sein? Mahout Drm scheint, nein zu sagen

Mahout des DrmRdd Typ ist definiert als type DrmRdd[K] = RDD[DrmTuple[K]] die zu übersetzt RDD[(K,Vector)] jedoch Mahout Dokumentation wird deutlich, dass die Vector-Klasse nicht serialisierbar is

0Hitze

1Antwort

Sortbykey in Apache Funke

Ich arbeite an einem Projekt mit Apache Funke. Ich war mir der Transformationen und Aktionen in Spark ziemlich bewusst, aber plötzlich bin ich verwirrt mit der Funktion sortByKey() in Spark. Wie funkt

0Hitze

2Antwort

beiden Vorkommen und cooccurrences in einem DF-Counting

Ich mag den mutual information (MI) zwischen zwei Variablen berechnen x und y, die ich in einem Spark-Datenrahmen habe, die wie folgt aussieht: scala> df.show() +---+---+ | x| y| +---+---+ | 0| DO

0Hitze

1Antwort

Wie finde ich Zeilenumbrüche in Textdateien mit Pyspark?

Ich versuche Textdatei in Funken zu laden, ich bin immer Fehler wie Input row doesn't have expected number of values required by the schema. 31 fields are required while 1 values are provided. die D

0Hitze

1Antwort

So finden und neue Linie zwischen dem Datensatz zu entfernen, indem Sie mit Funken scala

Probeneingang abc^Aabd^Aabe^Aabf^Aabh abc^A\n ^Aasv^Asaf^Asaf^Asdf Erwartete Ausgabe abc^Aabd^Aabe^Aabf^Aabh abc^Aasv^Asaf^Asaf^Asdf Ich versuche, die oben in Funken Scala in der Schale. Die Ei

4Hitze

1Antwort

Einfügen von Daten in eine statische Hive-Partition mit Spark SQL

Ich habe Probleme herauszufinden, wie Sie Daten in eine statische Partition einer Hive-Tabelle mit Spark SQL einfügen. Ich kann Code verwenden in dynamische Partitionen zu schreiben: df.write.partitio