rdd

5Hitze

3Antwort

Wie erstellt man ClassTag für Spark SQL Dataframe Mapping?

Spark SQL 1.2.0 Abfragen geben JavaRDD zurück. Spark SQL 1.3.0-Abfragen geben DataFrame zurück. Die Konvertierung von DataFrame nach JavaRDD durch DataFrame.toJavaRDD scheint recht zeitaufwendig zu se

38Hitze

1Antwort

Welche Operationen behalten die RDD-Reihenfolge bei?

RDD hat eine sinnvolle (im Gegensatz zu einigen zufälligen Reihenfolge durch das Speichermodell auferlegt) Reihenfolge, wenn es von sortBy() verarbeitet wurde, wie in dieser reply erläutert. Nun, welc

15Hitze

1Antwort

Führt ein Join von gemeinsam partitionierten RDDs zu einem Shuffle in Apache Spark?

Wird rdd1.join(rdd2) dazu führen, dass ein Shuffle auftritt, wenn rdd1 und den gleichen Partitionierer haben?

7Hitze

1Antwort

Verwenden von PartitionBy zum Teilen und effiziente Berechnung RDD-Gruppen mit Schlüssel

Ich habe eine Lösung für die Gruppe RDD[K, V] per Schlüssel implementiert und Daten entsprechend jeder Gruppe (K, RDD[V]), mit partitionBy und Partitioner zu berechnen. Trotzdem bin ich mir nicht sich

21Hitze

2Antwort

Funken: subtrahieren zwei Datenrahmen

In Spark-Version 1.2.0 ein subtract mit 2 SchemRDD s nur mit dem anderen Inhalt von der ersten val onlyNewData = todaySchemaRDD.subtract(yesterdaySchemaRDD) onlyNewData enthält die Zeilen in todaySc

13Hitze

5Antwort

Apache Spark RDD-Filter in zwei RDDs

Ich muss eine RDD in 2 Teile teilen: 1 Teil, die eine Bedingung erfüllt; ein anderer Teil, der das nicht tut. Ich kann filter zweimal auf der ursprünglichen RDD tun, aber es scheint ineffizient. Gibt

10Hitze

1Antwort

Warum hat die Spark RDD-Partition 2 GB für HDFS?

Ich habe einen Fehler bei der Verwendung von mllib RandomForest, um Daten zu trainieren. Da meine Datenmenge sehr groß ist und die Standardpartition relativ klein ist. so wird eine Ausnahme ausgelöst

6Hitze

1Antwort

Wird Tachyon standardmäßig von den RDDs in Apache Spark implementiert?

Ich versuche Sparks in Memory-Funktion zu verstehen. In diesem Prozess stieß ich auf Tachyon , die im Grunde in Speicherdatenschicht ist, die Fehlertoleranz ohne Replikation durch die Verwendung von L

6Hitze

1Antwort

Wie RDD in mehrere RDDs duplizieren?

Ist es möglich, eine RDD in zwei oder mehrere RDDs zu duplizieren? Ich möchte den Cassandra-Spark-Treiber verwenden und eine RDD in einer Cassandra-Tabelle speichern, und zusätzlich mit weiteren Berec

5Hitze

2Antwort

Warnung bei der Verwendung von RDD zum Verständnis

Ich bekomme eine Warnung, wenn Sie eine RDD in einem für den Einsatz verwenden, und ich bin mir nicht sicher, ob es etwas ist, was ich falsch mache. Wenn ich dies tun: val sc = new SparkContext(...)