rdd

8Hitze

1Antwort

Wie sortiere ich eine RDD und limit in Spark?

Ich habe RDD der Foo-Klasse: class Foo(name : String, createDate : Date). Ich möchte eine andere RDD mit 10 Prozent älter Foo. Meine erste Idee war, nach createDate zu sortieren und um 0,1 * zu zählen

22Hitze

1Antwort

Spark RDD - Mapping mit zusätzlichen Argumenten

Ist es möglich, zusätzliche Argumente an die Mapping-Funktion in pySpark zu übergeben? Insbesondere habe ich den folgenden Code ein Rezept: raw_data_rdd = sc.textFile("data.json", use_unicode=True) j

6Hitze

3Antwort

Konvertieren von RDD [org.apache.spark.sql.Row] zu RDD [org.apache.spark.mllib.linalg.Vector]

Ich bin relativ neu in Spark und Scala. beginne ich mit der folgenden Datenrahmen (einzelne Spalte aus einer dichten Vektor von Doubles hergestellt): scala> val scaledDataOnly_pruned = scaledDataOnly.

5Hitze

3Antwort

Wie man eine RDD von Tupeln mit 5 Elementen in Spark Scala sortiert?

Wenn ich eine RDD von Tupeln mit 5 Elementen haben, zum Beispiel RDD (Double, String, Int, Double, Double) Wie kann ich diese RDD sortieren effizient das fünfte Element verwendet? Ich habe versucht, d

9Hitze

3Antwort

Wird groupByKey jemals über reduceByKey bevorzugt

Ich verwende immer reduceByKey, wenn ich Daten in RDDs gruppieren muss, weil es eine Kartenseite reduziert, bevor Daten gemischt werden, was oft bedeutet, dass weniger Daten gemischt werden und ich da

7Hitze

1Antwort

Leere Partitionen aus Spark RDD entfernen

Ich hole Daten aus HDFS und speichere sie in einer Spark RDD. Spark erstellt die Anzahl der Partitionen basierend auf der Anzahl der HDFS-Blöcke. Dies führt zu einer großen Anzahl leerer Trennwände, d

9Hitze

1Antwort

Konvertieren eines Scala Iterable [Tupel] zu RDD

Ich habe eine Liste von Tupel, (String, String, Int, Double), die ich in Spark RDD konvertieren möchte. Wie kann ich eine Scala Iterable [(a1, a2, a3, ..., an)] in eine Spark RDD konvertieren?

14Hitze

4Antwort

eine RDD initialisieren

zu leeren habe ich eine RDD genannt JavaPairRDD<String, List<String>> existingRDD; Jetzt muss ich existingRDD diese initialisieren zu leeren, so dass, wenn ich die tatsächlichen rdd die bekomme ich

12Hitze

1Antwort

Matrix Multiplikation in Apache Spark

Ich versuche, Matrix-Multiplikation mit Apache Spark und Java durchzuführen. Ich habe 2 Hauptfragen: Wie RDD erstellen, die Matrix in Apache Funken darstellen kann? Wie multipliziert man zwei solche R

5Hitze

2Antwort

pyspark: grouby und dann Max-Wert jeder Gruppe

Ich möchte mit einem Wert gruppieren und dann finden Sie den maximalen Wert in jeder Gruppe mit PySpark. Ich habe den folgenden Code, aber jetzt bin ich fest, wie man den maximalen Wert extrahiert. #