rdd

-1Hitze

1Antwort

Foreach auf einem RDD distinct funktioniert nicht

Ich versuche, alle eindeutigen Werte eines Spark RDD, durch Komma trennen. Dies ist mein Code: def genPredicateIn(data: RDD[String], attribute: String): String = { var s: String = attribute + " i

7Hitze

1Antwort

So konvertieren Sie eine RDD [Row] zurück zu DataFrame

Ich habe mit der Konvertierung von RDDs zu DataFrames und wieder zurück gespielt. Zuerst hatte ich eine RDD vom Typ (Int, Int) namens DataPair. Dann habe ich ein Objekt mit Datenrahmen unter Verwendun

5Hitze

1Antwort

Den maximalen Wert für jeden Schlüssel in einem Spark-RDD abrufen

Wie kann die maximale Zeile (Wert), die jedem eindeutigen Schlüssel in einer Funke-RDD zugeordnet ist, am besten zurückgegeben werden? Ich benutze Python und ich habe Math Max versucht, Zuordnung und

9Hitze

2Antwort

RDD Aggregat in Funke

Ich bin ein Apache Spark Lerner und habe eine Aktion aggregate die ich habe keine Ahnung, wie es funktioniert. Kann jemand im Detail Schritt für Schritt buchstabieren und erklären, wie haben wir RDD i

1Hitze

2Antwort

So speichern Sie den gesamten JSON von Kafka Thema zu Cassandra Tabelle, mit Spark Streaming

Dies ist meine Json Daten, ich sende dies zu kafka Themen, Lesen mit Funken rdd, und speichern in Cassandra. [{ "sensor": "swapSensor", "sendtime": "2016-09-15T11:05:01.000Z", "data": [{ "@context

0Hitze

1Antwort

Manipulation auf Spark-Dataframe Reihe

: Ich bin in Funken, scala etc unter mein Code val eventdf = sqlContext.sql("SELECT sensor, data.actor FROM eventTable") eventdf.map { case (r) => (r.getString(0) + count, r.getString(1), count

2Hitze

1Antwort

Funke: eine RDD von HBase Daten erstellt Partitionieren

Wenn ich mit JavaPairRDD<ImmutableBytesWritable, Result> usersRDD = sc.newAPIHadoopRDD(hbaseConf, TableInputFormat.class, ImmutableBytesWritable.class, Result.class); die resultierenden RDD hat 1 Pa

1Hitze

1Antwort

RDD-Suche innerhalb einer Transformation

I 2 gepaart RDDs haben wie unter RDD1 Namen als Schlüssel und zipcode als Wert enthält: RDD1 -> RDD ((ashley, 20171), (yash, 33613), (evan, 40217)) RDD2 enthält Postleitzahl als Schlüssel und einige Z

0Hitze

1Antwort

Fuzzy RDD und Stata Pgewicht Ausgabe

Ich bin verwirrt über die Verwendung von Wahrscheinlichkeitsgewichten (Gewicht, in Stata), insbesondere in Bezug auf die Verwendung für RDD. Ich bin nach oben auf einer Antwort hier zu finden: https:/

1Hitze

2Antwort

RDD Speicherbedarf in Funken

Ich bin mir nicht sicher über das Konzept der Speicherfußabdruck. Beim Laden einer Parkettdatei von z. 1 GB und Erstellen von RDDs daraus in Spark, Was wäre der Speicher Lebensmittel drucken für jede