rdd

0Hitze

1Antwort

Pyspark: Get Indizes eines RDD Elemente aus einem anderen RDD

Also, was ich diese zwei RDDs haben, die wie folgt aussehen: rdd1: [([1, 2], 0), ([2, 4], 1)] rdd2: [([2, 4], 0), ([1, 2], 1)] Was ich brauche, ist eine Liste, die die Indizes von RDD1 Elemente in

2Hitze

1Antwort

RDD.take funktioniert nicht

wenn ich Eingang in Funken folgenden Befehl ein: textFile = sc.textFile("README.md") textFile.take(3) es folgende Ausgabe: [u'# Apache Spark', u'', u'Spark is a fast and general cluster computing

0Hitze

1Antwort

Funken scala fusioniert Multi rdd von Schlüssel

ich habe mehr RDDs genderRDD (1713926427,{gender={f=3327, m=1945, unknown=897}}) Und actionRDD (1713926427,{actionType={repost=2927, comment=2345, like=897}}) Und deviceRDD (1713926427,{deviceType

2Hitze

2Antwort

Spark: Wie man mapPartition verwendet und Verbindung pro Partition erstellt/schließt

Also möchte ich bestimmte Operationen auf meinem Spark DataFrame ausführen, schreibe sie in DB und erstelle am Ende einen weiteren DataFrame. Es sieht wie folgt aus: import sqlContext.implicits._ va

4Hitze

2Antwort

Finden Min/Max mit Pyspark im Single-Pass über Daten

Ich habe eine RDD mit einer riesigen Liste von Zahlen (Länge der Zeilen aus der Datei), ich möchte wissen, wie man die Min/Max im Single-Pass über die Daten erhalten. Ich weiß, dass über Min und Max F

-1Hitze

2Antwort

So ersetzen Sie den RDD-Typ von [String] durch Werte vom RDD-Typ [String, Int]

Entschuldigung für die Verwirrung in der ersten Frage. Hier ist eine Fragen mit dem reproduzierbaren Beispiel: Ich habe eine rdd [String] und ich habe eine RDD [String, Long]. Ich hätte gerne eine RDD

1Hitze

1Antwort

kafka Weitstrahl DSTREAM Karte nicht gedruckt

Ich habe diese einfache Kafka-Stream val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet) // Each Kafka message is a flight val fl

2Hitze

1Antwort

Scala - Update RDD mit einer anderen Karte

Ich versuche, eine RDD mit mehr Informationen von einer anderen Karte zu aktualisieren .... Ich schrieb dies, aber funktioniert nicht. Wo: LocalCurrencies ist eine Folge von Währungsklasse rdd: RDD [S

1Hitze

1Antwort

Max Grenze für die Anzahl der RDDs in Spark

Ich bin neu in Spark und lernt derzeit verwandte Konzepte. Eine grundlegende Frage, die ich habe, ist, wie ist die Anzahl der RDDs in Spark begrenzt?

0Hitze

1Antwort

Suche Top 100 Wörter für jedes Zeichen pyspark

Ich bin ziemlich neu zu funken, habe ich eine Aufgabe, Top hundert Wörter aus einer Reihe von Tweets für jedes Zeichen aus kleinen Alphabeten zu bekommen. zum Beispiel a: (word1, count1), (word2, coun