rdd

6Hitze

1Antwort

Warum Spark keine kartenseitige Kombination mit Array-Schlüsseln erlaubt?

Ich benutze Spark 1.3.1 und ich bin gespannt, warum Spark Array-Tasten bei der Kartenseite Kombination nicht erlaubt. Stück combineByKey function: if (keyClass.isArray) { if (mapSideCombine) {

12Hitze

3Antwort

Wie konvertiere ich eine RDD mit einer sparsevector Spalte zu einem Datenrahmen mit einer Spalte als Vektor

Ich habe eine RDD mit einem Tupel von Werten (String, sparsevector) und ich möchte ein Dataframe mit dem RDD erstellen. Um ein (label: string, features: vector) zu erhalten, ist DataFrame das Schema,

8Hitze

1Antwort

RDD in iterable konvertieren: PySpark?

Ich habe eine RDD, die ich durch Laden einer Textdatei und Vorverarbeitung erstellen. Ich möchte es nicht sammeln und auf der Festplatte oder im Speicher (ganze Daten) speichern, sondern es lieber an

28Hitze

1Antwort

'PipelinedRDD' Objekt hat kein Attribut 'toDF' in PySpark

Ich versuche, eine SVM-Datei zu laden und in eine DataFrame zu konvertieren, so dass ich das ML-Modul (Pipeline ML) von Spark verwenden kann. Ich habe gerade eine frische Spark 1.5.0 auf einem Ubuntu

5Hitze

2Antwort

Wie bekomme ich eine Probe mit einer genauen Stichprobengröße in Spark RDD?

Warum gibt die Funktion "sample" in Spark RDD eine andere Anzahl von Elementen zurück, obwohl der Parameter fraction identisch ist? Zum Beispiel ist, wenn mein Code wie folgt: val a = sc.parallelize(1

11Hitze

1Antwort

Wie teilt Sparks RDD.randomSplit tatsächlich die RDD

Also nehme an, ich habe eine rdd mit 3000 Zeilen bekommen. Die ersten 2000 Zeilen gehören der Klasse 1 und die 1000 letzten Zeilen der Klasse 2. Die RDD ist über 100 Partitionen partitioniert. Wenn RD

5Hitze

1Antwort

Behandle Spark RDD wie einfach Seq

Ich habe eine CLI-Anwendung für die Umwandlung von JSONs. Der meiste Code ist map ping, flatMap ping und traversing mit for Listen von JValues. Jetzt möchte ich diese Anwendung zu Spark portieren, abe

7Hitze

1Antwort

Verständnis treeReduce() in Spark-

Sie die Umsetzung hier sehen können: https://github.com/apache/spark/blob/ffa05c84fe75663fc33f3d954d1cb1e084ab3280/python/pyspark/rdd.py#L804 Wie funktioniert anders ist es aus der 'normalen' reduce F

6Hitze

2Antwort

Wird es irgendein Szenario geben, in dem Spark RDDs die Unveränderlichkeit nicht erfüllen können?

Spark RDDs sind unveränderlich, fehlertolerant und widerstandsfähig konstruiert. Erfüllt RDDs die Unveränderlichkeit in allen Szenarien? Oder gibt es einen Fall, sei es in Streaming oder Core, wo RDD

8Hitze

2Antwort

Mehrere Zeilen in einem Spark-Dataform in eine einzelne Zeile zusammenführen

Ich habe einen Datenrahmen mit 2 Spalten: Zeitstempel, Wert Zeitstempel ist eine Zeit seit der Epoche und Wert ist ein Float-Wert. Ich möchte Zeilen um Durchschnittswerte von min zusammenführen. Das b