rdd

17Hitze

2Antwort

Welche Funktion in Spark verwendet wird, um zwei RDDs durch Tasten zu kombinieren

Sagen wir, ich habe die folgenden zwei RDDs, mit den folgenden Schlüsselpaaren Werte. rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] und rdd2 = [ (key1, [value5, value6]), (key2, [val

6Hitze

2Antwort

Wie bekomme ich die nte Reihe von Spark RDD?

Angenommen, ich habe eine RDD von beliebigen Objekten. Ich möchte die zehnte Zeile der RDD bekommen. Wie würde ich das tun? Eine Möglichkeit besteht darin, rdd.take (n) zu verwenden und dann auf das n

17Hitze

2Antwort

Wie bekomme ich eine SQL-Zeile_number Entsprechung für eine Spark RDD?

Ich muss eine vollständige Liste der Zeilennummern für eine Datentabelle mit vielen Spalten generieren. In SQL, dies würde wie folgt aussehen: select key_value, col1, col2, col3,

19Hitze

1Antwort

eine einfache Linie Zeichenfolge RDD in Spark-

Ich habe eine einfache Linie: line = "Hello, world" Ich mag würde es zu einer RDD konvertieren mit nur einem Element. Ich habe versucht sc.parallelize(line) Aber es bekommen: sc.parallelize(line).

5Hitze

1Antwort

Spark-Fehler: Nicht genügend Speicherplatz zum Zwischenspeichern der Partition rdd_8_2 im Speicher! Freier Speicher ist 58905314 Bytes

Wenn ich einen Spark-Job mit seinem Beispielcode BinaryClassification.scala mit meinen eigenen Daten ausführen, zeigt es immer die Fehler wie "Nicht genügend Speicherplatz, um Partition rdd_8_2 im Spe

7Hitze

3Antwort

Wie kann Spark RDD zwischen zwei Spark-Kontexten geteilt werden?

Ich habe einen RMI-Cluster. Jeder RMI-Server verfügt über einen Spark-Kontext. Gibt es eine Möglichkeit, eine RDD zwischen verschiedenen Spark-Kontexten zu teilen?

12Hitze

2Antwort

Wie Reverse für RDD.takeOrdered Bestellung()?

Was ist die Syntax, um die Bestellung für die takeOrdered() -Methode eines RDD in Spark kehren? für Bonuspunkte, was ist die Syntax für benutzerdefinierte Sortierung für eine RDD in Funken?

32Hitze

2Antwort

Verketten von Datensätzen verschiedener RDDs in Apache Spark mit Hilfe von Scala

Gibt es eine Möglichkeit, Datensätze von zwei verschiedenen s in Funken zu verketten? Anforderung ist - ich erstelle zwei Zwischen-RDDs mit Scala, die gleiche Spaltennamen hat, müssen diese Ergebnisse

18Hitze

4Antwort

Verbinden Sie zwei gewöhnliche RDDs mit/ohne Spark SQL

Ich muss zwei gewöhnlichen RDDs auf einer/mehreren Spalten verbinden. Logischerweise entspricht diese Operation der Datenbankverbindungsoperation von zwei Tabellen. Ich frage mich, ob dies nur durch S

20Hitze

2Antwort

Spark RDDs - wie funktionieren sie?

Ich habe ein kleines Scala-Programm, das auf einem einzelnen Knoten läuft. Allerdings skaliere ich es so, dass es auf mehreren Knoten ausgeführt wird. Dies ist mein erster solcher Versuch. Ich versuch