rdd

0Hitze

1Antwort

Wie transformiert man ein Objekt in RDD (Spark) in viele Elemente in RDD?

Ich bekomme eine RDD mit 'Scan' Aktion von 'HBase'. Jedes Element in diesem RDD ist wie: x1, y1, y2, y3 ... So sind die Elemente in diesem RDD sind wie (jede Zeile eine Zeile Ergebnis der Scan-Aktion)

-1Hitze

1Antwort

Spark Python meisten wiederholten Wert für jeden Schlüssel

Ich habe eine RDD mit Format: (Datum, Stadt). Und die Innen Daten ist so etwas wie dieses: day1, city1 day1, city2 day1, city2 day2, city1 [...] Ich brauche die meisten „wiederholt“ Stadt von je

-2Hitze

2Antwort

wie man den Funken rdd durch den Schlüssel unterscheidet?

jetzt habe ich eine RDD, die die Datensätze in der RDD sind wie folgt: key1 value1 key1 value2 key2 value3 key3 value4 key3 value5 ich die RDD Datensätze erhalten möchten, die verschiedene Schlü

1Hitze

1Antwort

Allgemein Karte Methode für doesnt Funken RDD kompilieren

ich kann nicht herausfinden, warum dies nicht kompiliert: implicit class debugHelper[T](ar: RDD[T]) { def debug_restrainer(implicit sc: SparkContext): RDD[T] = { if (debug_size.isDefined) s

3Hitze

1Antwort

Spark: Unterschied beim Einlesen von .gz und .bz2

Normalerweise lese und schreibe ich Dateien in Spark mit .gz, wobei die Anzahl der Dateien der Anzahl der RDD-Partitionen entsprechen sollte. I.e. Eine .gz-Datei wird in eine einzelne Partition eingel

2Hitze

2Antwort

Erhalten größte Karte von einem RDD von Array von Karten

Ich habe ein Array von Karten in einem RDD wie folgt aus: Map("id" -> 1, "name" -> "punit") Map("id" -> 2, "name" -> "naik", "ph_no" -> 123123) Jetzt ist mein Ziel, dieses Array von Karten in eine

0Hitze

1Antwort

Spark: Objekt-RDD aus Liste erstellen <Object> RDD

Angenommen Employee ist eine Java-Klasse. Ich habe eine JavaRDD<Employee[]> arrayOfEmpList, d. H. Jede RDD hat eine array of employees. Aus diesem heraus, ich möchte eine einzige Liste der Mitarbeiter

1Hitze

1Antwort

Bewertungsmetrik für binäre Klassifizierung in Spark: AUC- und PR-Kurve

Ich habe versucht, Precision, Recall by Threshold für LogisticRegression mit LBFGS unter Verwendung von BinaryclassificationMetrics zu berechnen. Ich habe all diese. Ich versuchte herauszufinden, ob i

5Hitze

1Antwort

Tipps für die ordnungsgemäße Verwendung großer Broadcast-Variablen?

Ich verwende ein Broadcast-Variable etwa 100 MB groß gebeizt, die mit ich annähert: >>> data = list(range(int(10*1e6))) >>> import cPickle as pickle >>> len(pickle.dumps(data)) 98888896 mit 3 c3.

-1Hitze

1Antwort

Inkonsistente Ausgaben von Scala Spark und pyspark Job

Ich konvertiere meinen Scala-Code in pyspark wie unten, aber hat verschiedene Zählungen für die endgültige RDD. Mein Scala Code: val scalaRDD = rowRDD.map { row: Row => var rowList: ListBuff