rdd

7Hitze

1Antwort

Wie konvertiert man Funke DataFrame zu RDD mllib LabeledPoints?

Ich habe versucht, PCA auf meine Daten anzuwenden und dann RandomForest auf die transformierten Daten anzuwenden. PCA.transform (data) hat mir jedoch einen DataFrame gegeben, aber ich brauche einen ml

5Hitze

2Antwort

Merge multiple RDD generiert in Schleife

Ich rufe eine Funktion in scala, die eine RDD[(Long,Long,Double)] als Ausgabe gibt. def helperfunction(): RDD[(Long, Long, Double)] Ich nenne diese Funktion in der Schleife in einem anderen Teil des C

2Hitze

2Antwort

Spark RDD Lineage Graph Darstellung

Ich würde gerne wissen, ob es eine Möglichkeit gibt, die von zur Verfügung gestellte Funktion der Spark API RDD.toDebugString() zu einem strukturierteren Format zu verwenden, so dass es automatisch ei

0Hitze

1Antwort

Iterieren über ein RDD-Paar, um eine Funktion auf einer RDD ab dem zweiten Wert auszuführen.

Ich habe ein Problem mit einer Funktion (die ich nicht ändern kann), die eine RDD als Eingabe benötigt, aber meine Daten sind in einem solchen Format, dass ich nicht scheinen kann, nur eine RDD in die

3Hitze

2Antwort

Spark: Cache RDD in einem anderen Job verwendet werden

Ich bin ein Funke-Job, der eine Eingabe, die von der gleichen vorherigen Job generiert wird. Momentan gibt der Job die Ergebnisse an HDFS aus, damit der nächste Lauf eingelesen werden kann. Gibt es ei

3Hitze

2Antwort

SPARK - Verwenden Sie RDD.foreach, um einen Dataframe zu erstellen und Aktionen auf dem Dataframe auszuführen

Ich bin neu bei SPARK und finde einen besseren Weg, um das folgende Szenario zu erreichen. Es gibt eine Datenbanktabelle mit 3 Feldern - Kategorie, Betrag, Menge. Zuerst versuche ich, alle verschieden

4Hitze

2Antwort

Was passiert, wenn ich die gleiche RDD zweimal in Spark

cache Ich baue eine generische Funktion, die eine RDD empfängt und einige Berechnungen darauf durchführt. Da ich mehr als eine Berechnung auf dem Eingabe-RDD ausführe, möchte ich es zwischenspeichern.

2Hitze

1Antwort

Prüfung der Funkeneinheit nicht mit powermockito.

Ich schreibe Komponententests für meine Funkenanwendung. Ich habe powermockito benutzt, um eine Transformation zu testen. Wenn ich laufen JUnit-Test Ich habe Fehler wie, 2016-03-24 17:10:10:805 INFO -

2Hitze

1Antwort

Wie ein festen UUID Wert in RDD

in einem funkenProgramm zuzuweisen I 2 RDDs zuerst initialisiert und verwenden dann die 2. RDD in einer while-Schleife wie folgt: var nodes = sc.parallelize(ArrayBuffer(1, 2, 3, 4, 5)) var node_Group

4Hitze

1Antwort

Spark lesen python3 pickle als Eingabe

Meine Daten sind als Sätze von Python 3 eingelegte Dateien verfügbar. Die meisten von ihnen sind Serialisierung von Pandas DataFrames. Ich möchte Spark verwenden, weil ich mehr Speicher und CPU brauch