rdd

11Hitze

2Antwort

Spark: Unterschied der Semantik zwischen reduce und reduceByKey

In der Dokumentation von Spark heißt es, dass die RDDs-Methode reduce eine assoziative UND-kommutative Binärfunktion benötigt. Die Methode reduceByKey erfordert jedoch nur eine assoziative Binärfunkti

10Hitze

1Antwort

Fallklassengleichheit in Apache Spark

Warum funktioniert die Mustererkennung in Spark nicht wie in Scala? Siehe Beispiel unten ... Die Funktion f() versucht, eine Übereinstimmung für die Klasse zu finden, die in der Scala REPL funktionier

13Hitze

1Antwort

Stackoverflow aufgrund der langen RDD Lineage

Ich habe Tausende von kleinen Dateien in HDFS. Müssen Sie eine etwas kleinere Teilmenge von Dateien verarbeiten (was wiederum in Tausenden ist), enthält Dateiliste eine Liste von Dateipfaden, die vera

8Hitze

1Antwort

Was ist der Unterschied zwischen Spark DataSet und RDD

Ich bin immer noch schwer zu verstehen, die volle Kraft der kürzlich eingeführten Spark Datasets. Gibt es Best Practices für die Verwendung von RDDs und die Verwendung von Datasets? In ihrem announcem

52Hitze

1Antwort

Was bedeutet "Stage Skipped" in der Apache Spark-Webbenutzeroberfläche?

Von meiner Spark UI. Was bedeutet es, übersprungen zu werden?

10Hitze

2Antwort

Spark-Datenrahmen mehrere Zeilen Spalte Transformation

Ich bin ein Anfänger zu entfachen, und ich möchte verwandeln unter Quelle Datenrahmen (Last von JSON-Datei): +--+-----+-----+ |A |count|major| +--+-----+-----+ | a| 1| m1| | a| 1| m2| | a| 2| m3|

9Hitze

1Antwort

Was ist ein Glom ?. Wie unterscheidet es sich von mapPartitions?

Ich bin über die glom() Methode auf RDD gestoßen. Gemäß der Dokumentation Return ein RDD erstellt, indem alle Elemente innerhalb jeder Partition in ein Array koaleszierende Hat glom die Daten über die

5Hitze

1Antwort

Wie entscheidet Spark, wie eine RDD partitioniert wird?

Angenommen, ich schaffe eine solche RDD (I Pyspark bin mit): list_rdd = sc.parallelize(xrange(0, 20, 2), 6) dann drucke ich die partitionierten Elemente mit dem glom() Verfahren und erhalten [[0], [

18Hitze

2Antwort

Anzahl der Partitionen in RDD und Leistung in Spark-

In Pyspark, kann ich eine RDD aus einer Liste erstellen und entscheiden, wie viele Partitionen zu haben: sc = SparkContext() sc.parallelize(xrange(0, 10), 4) Wie funktioniert die Anzahl der Partiti

9Hitze

1Antwort

Wie lege ich eine Fallklasse in eine rdd und lasse sie sich wie ein Tupel (Paar) verhalten?

zum Beispiel sagen, ich habe eine einfache Fall Klasse case class Foo(k:String, v1:String, v2:String) Kann ich Funken erhalten diese, wie dies für die Zwecke des etwas als Tupel zu erkennen, ohne in