rdd

2Hitze

1Antwort

Spark Python wie Gruppe RDD-Elemente mit speziellen Mark?

Ich habe eine große Datei (a.txt), wie die folgenden, in der es eine spezielle Markierung in der Datei ist, die die Daten in Gruppe a1 a2 $$$$$$$$ a1 c1 b1 c2 $$$$$$$$ d1 d2 $$$$$$$$ ...

0Hitze

2Antwort

Ausnahme org.apache.spark.rdd.RDD [(scala.collection.immutable.Map [String, Alles], Int)] in scala/Funken

Im Folgenden Code Ich Tweets für einen bestimmten Filter bekommen: val topCounts60 = tweetMap.map((_, 1)). reduceByKeyAndWindow(_+_, Seconds(60*60)) einer der Probe Ausgabe von topCounts60 ist im

0Hitze

2Antwort

Etwas falsch mit Spark RDD

Ich habe eine seltsame Funken RDD, ich bin mir nicht sicher, was falsch ist oder wie zur Fehlerbehebung gehen. Ich führe Spark 1.6.2 mit Python 3.4.3 durch ein Ipython-Notebook. Hier ist, wie ich in d

2Hitze

3Antwort

Apache Spark - Scala - wie zu FlatMap (k, {v1, v2, v3, ...}) zu ((k, v1), (k, v2), (k, v3), ...)

ich habe dies: val vector: RDD[(String, Array[String])] = [("a", {v1,v2,..}),("b", {u1,u2,..})] wollen konvertieren: RDD[(String, String)] = [("a",v1), ("a",v2), ..., ("b",u1), ("b",u2), ...] eine

-1Hitze

1Antwort

vergleichen zwischen zwei pairRDD

I 2 pairRdds haben, ihre Tupel definiert als Tuple2 <Integer,int[]> , was ich will zu tun ist Tupel von beiden RDDs zu finden, die den gleichen Schlüssel haben, als jedes einzelne Elemente des Werte

0Hitze

1Antwort

Finden Maximalwert von RDD mit reduceByKey und dann Associate Wert einer anderen Variable

I mit 3 Werten rdd = rdd.map(lambda x: (x['Id'],[float(x['value1']),int(x['value2'])])) Ich möchte eine RDD haben finden Sie die gesamte RDD zu finden und zurück, wo Wert1 maximiert ich weiß, dass i

2Hitze

3Antwort

Spark-Liste all RDD Namen im Cache

Ich bin neu in Apache Spark, ich mehr RDD sind und Datenrahmen erstellt, so dass sie im Cache gespeichert, jetzt will ich mit dem Befehl, einige von ihnen unpersist unter rddName.unpersist() aber ic

0Hitze

1Antwort

Wie findet man alle Wörter, die mit my_str beginnen, in einer RDD von Strings mit pyspark und regex?

Ich habe eine RDD von Strings (alle in Kleinbuchstaben) und ich möchte mit regulären Ausdruck alle Wörter beginnend mit "kann" finden oder finden. Wie kann ich das in Python machen? Als Beispiel für e

3Hitze

1Antwort

Partition Lage RDD/Dataframe

Ich habe eine (ziemlich groß, denken 10e7 Zeilen) Datenrahmen, aus dem i-Elemente filtern basierend auf einer Eigenschaft val res = data.filter(data(FieldNames.myValue) === 2).select(pk.name, FieldNam

0Hitze

2Antwort

erhält die höchsten Schlüssel aus einem javaPairRDD

ich habe ein javaPairRDD „RDD“ genannt, seine Tupel wie folgt definiert: <Integer,String[]> i die höchste Taste max() Funktion extrahieren mag, aber es erfordert einen Komparator als Argument, würde