rdd

1Hitze

1Antwort

Speichern von Zwischendaten in Spark, wenn in einer Anwendung 100s von Operationen vorhanden sind

Eine RDD ist aufgrund ihrer Herkunft inhärent fehlertolerant. Aber wenn eine Anwendung 100 Operationen hat, würde es schwierig werden, alle diese Operationen zu durchlaufen. Gibt es eine Möglichkeit,

1Hitze

1Antwort

Wie konvertiert man HadoopRDD zu DataFrame in EMR Spark?

In EMR Spark, ich habe ein HadoopRDD org.apache.spark.rdd.RDD[(org.apache.hadoop.io.Text, org.apache.hadoop.dynamodb.DynamoDBItemWritable)] = HadoopRDD[0] at hadoopRDD ich das DataFrame org.apache.s

4Hitze

2Antwort

effizient takeByKey für Funken implementieren

Ich habe eine RDD des Typs RDD[(k:Int,v:String)]. Ich möchte bis zu 1000 Tupel für jeden Schlüssel k nehmen, so dass ich [(k,v)] habe, wo kein Schlüssel mehr als 1000 Mal erscheint. Gibt es eine Mögli

0Hitze

2Antwort

Wie entferne ich Spalten aus einer CSV-Datei mit Scala

Wenn ich eine CSV wie die folgenden habe: Id,name,number 1,sam,023 2,ron,287 Aber ich wollte es so, während die Spaltenüberschrift als Argument nur machen, vorbei, in dieser Fall "Name": Id,number

4Hitze

2Antwort

Wie viele Partitionen erstellt Spark, wenn eine Datei aus S3-Bucket geladen wird?

Wenn die Datei standardmäßig von HDFS geladen wird, erstellt Spark eine Partition pro Block. Aber wie entscheidet Funke über Partitionen, wenn eine Datei aus S3-Bucket geladen wird?

1Hitze

1Antwort

Joining zwei RDD [Zeichenfolge] -Spark Scala

Ich habe zwei RDDS: rdd1 [String,String,String]: Name, Address, Zipcode rdd2 [String,String,String]: Name, Address, Landmark Ich versuche, diese 2 RDDs mit der Funktion zu verbinden: rdd1.join(rdd2

-1Hitze

1Antwort

Können Sie in Apache Spark eine RDD aus einer Datenbank (MySQL, MongoDB, etc) erstellen?

Ich bin mir bewusst, dass Sie RDDs aus Textdateien und Arrays erstellen können, aber was ist mit Datenbanken?

0Hitze

1Antwort

Wie ein Iterable zu einem RDD

Um genauer zu sein, konvertieren, wie kann ich ein scala.Iterable zu einem org.apache.spark.rdd.RDD konvertieren? Ich habe eine RDD von (String, Iterable [(String, Integer)]) und ich will diese von (S

-1Hitze

1Antwort

Escape-Komma beim Lesen mit sc.textFile (APACHE SPARK RDD)

Ich versuche, eine CSV zu einem RDD (SPARK) mit Python zu lesen. Das Problem, das ich habe, ist während der Verwendung der Split-Funktion mit Komma als Trennzeichen. Dies funktioniert, solange in jede

0Hitze

1Antwort

Kann Spark mehrere Durchläufe über eine RDD optimieren?

Das scheint eine wirklich naive Frage zu sein, aber ich kann nirgendwo eine klare Antwort finden. Ich verwende Spark-RDDs, um eine sehr große TSV-Datei in zwei Sätze von Schlüssel/Wert-Paaren zu konve