rdd

0Hitze

1Antwort

Neues Schema für Spark-Zeilen definieren

Ich habe einen DataFrame und eine seiner Spalten enthält eine Zeichenfolge von JSON. Bisher habe ich die Function Schnittstelle implementiert, wie von der JavaRDD.map Methode gefordert: Function<Row,R

2Hitze

1Antwort

Wie Zugriff auf einzelne Elemente in einem Tupel auf einer RDD in pyspark?

Können sagen, ich habe eine RDD wie [(u'Some1', (u'ABC', 9989)), (u'Some2', (u'XYZ', 235)), (u'Some3', (u'BBB', 5379)), (u'Some4', (u'ABC', 5379))] I map bin mit einem Tupel zu einer Zeit zu erhalten,

0Hitze

1Antwort

Funken RDD saveAsTextFile nicht verwenden, um die angegebenen Dateinamen

Ich habe einige Codes wie diese wordCounts .map{ case (word, count) => Seq( word, count ).mkString("\t") } .coalesce(1,true) .saveAsTextFile("s3n://mybucket/da

0Hitze

1Antwort

Apache Spark Convert Sammlung von RDD zu einzelnen RDD JAVA

Ich habe folgende RDD in meinem Java-Code. (1, List(1596, 1617, 1929, 2399, 2674)) (2, List(1702, 1785, 1933, 2054, 2583, 2913)) (3, List(1982, 2002, 2048, 2341, 2666)) Was ich versuche, ist eine

6Hitze

1Antwort

Scalaz-Typklassen für Apache Spark-RDDs

Ziel ist die Implementierung verschiedener Typklassen (wie Semigroup, Monad, Functor usw.), die von Scalaz für Sparks RDD (verteilte Sammlung) bereitgestellt werden. Leider kann ich keine Typenklassen

1Hitze

1Antwort

Umgang mit RDDs an einen bestimmten Mitarbeiter in Apache Spark

Wissen Sie, ob es möglich ist, festzulegen, welche RDD zu welchem Executor geht? Ähnlich wie eine parallele Programmierung, in der definiert werden kann, welcher Thread oder welcher Prozess welche D

2Hitze

1Antwort

pyspark: 'PipelinedRDD' Objekt ist nicht iterierbar

Ich bekomme diesen Fehler, aber ich weiß nicht warum. Grundsätzlich ich von diesem Code bin erroring: a = data.mapPartitions(helper(locations)) wo Daten ein RDD und mein Helfer ist definiert als: de

1Hitze

1Antwort

Laden RDD von Datei in den Speicher in Spark zwingen

Ich habe eine Demo-Anwendung, die eine Spark-Berechnung ausführt. Dazu lädt es eine in einer Objektdatei gespeicherte RDD und führt dann einige Aufgaben aus, die von der Eingabe des Benutzers abhängen

0Hitze

2Antwort

Schlüssel aus Schlüssel-Wert-Paaren basierend auf dem Maximalwert in Apache-Funke zurückgeben

Ich bin neu in Apache Funke und ich brauche einen Rat. Ich habe eine RDD mit [String, Int] -Typ. RDD Werte sind wie folgt aus: ("A, x", 3) ("A, y", 4) ("A, Z", 1) (“ B, y "2) ("C, w", 5) ("C, y", 2) (

3Hitze

1Antwort

Check Type: Wie überprüft man, ob etwas eine RDD oder ein Dataframe ist?

Ich benutze Python, und das ist Spark Rdd/Dataframes. Ich versuchte isinstance (Sache, RDD) aber RDD wurde nicht erkannt. Der Grund, warum ich dies tun müssen: ich eine Funktion ich schreibe, wo beide