rdd

6Hitze

1Antwort

Scala Spark: So erstellen Sie eine RDD aus einer Liste von Zeichenfolge und konvertieren in Datenrahmen

Ich möchte einen DataFrame aus einer Liste von Zeichenfolge erstellen, die vorhandenen Schema übereinstimmen könnte. Hier ist mein Code. val rowValues = List("ann", "f", "90", "world", "23456") // fai

2Hitze

1Antwort

Wie kann ich zwei DStreams in einer Funktion nach der Filtertransformation im Spark-Streaming zurückgeben?

In einer Funktion gibt es eine Möglichkeit, zwei DStreams nach der Verwendung von filter zurückzugeben? Wenn ich zum Beispiel eine DStream filtere, werden die gefilterten in einer DStream gespeichert

1Hitze

1Antwort

Spark Custom Partioner vs SortByKey-Funktionalität

Gegeben ein Dataset von [K, V] und eine Notwendigkeit, basierend auf Schlüssel beizutreten, welche Methode die beste Methode zur Sicherstellung der Lokalität/Geschwindigkeit einer benutzerdefinierten

0Hitze

1Antwort

Spark Job Wrapping einer Transformation mit lokalen Operationen (sehr langsam und OOM-Probleme)

Ich versuche, einen Spark-Job zu schreiben, der eine Zeitreihe auf eine Vielzahl von Arten analysiert. Durch eine Reihe von Transformationen, nehme ich einen Datenrahmen und RDDs fallen lassen, so das

0Hitze

1Antwort

Wie wird die Funktion verwendet, die RDD [(Double, Double)] als Eingabe für einen Fall von Seq [Seq [(Double, Double)]] erwartet?

Ich habe eine Variable vom Typ Seq[Seq[(Double, Double)]]: val output: Seq[Seq[(Double, Double)]] = runStreams(ssc, numBatches, numBatches) Jetzt möchte ich die Funktion RegressionMetrics die RDD[(D

0Hitze

1Antwort

Konvertieren von JavaPairRdd in JavaRdd durch Verketten von Schlüssel und Wert

Ich bin neu bei Apache Spark. Wie der Titel sagt, habe ich eine JavaPairRdd<String,String> und ich möchte eine JavaRdd<String> mit der Verkettung des Schlüssels und den Wert der JavaPairRdd produziere

3Hitze

4Antwort

Wie spalte ich ein Spark rdd Array [(String, Array [String])]?

Ich übe in der Spark-Shell nach Arten. Ich habe eine rdd mit etwa 10 Spalten/Variablen. Ich mag die ganze rdd auf den Werten der Spalte 7. rdd org.apache.spark.rdd.RDD[Array[String]] = ... Von sort

0Hitze

1Antwort

Filter RDD von Tupeln aus einer anderen Liste von Tupeln

Ich arbeite derzeit mit Spark und Scalacheck und ich versuche, eine RDD [(A, Long)] zu filtern (wo A ist ein Register aus einer Avro-Datei gelesen und Long ist erhalten von der Funktion zipWithUniqueI

3Hitze

1Antwort

reduceByKey ist kein Mitglied

Hallo Ich habe Code einfach erhalten Wortzählungen aus einem Dokument. Ich muss auch eine Karte verwenden, um den Datenwert nachzuschlagen, bevor die Ausgabe erzeugt wird. Hier ist der Code. requests

3Hitze

2Antwort

Unerwartetes Verhalten innerhalb des foreachPartition Methode einer RDD

ich durch die Funken Shell den folgenden Zeilen von scala Codes ausgewertet: val a = sc.parallelize(Array(1,2,3,4,5,6,7,8,9,10)) val b = a.coalesce(1) b.foreachPartition { p => p.map(_ + 1).for