rdd

0Hitze

2Antwort

So erstellen Sie mehrere RDD-Zeilen aus einem einzigen Dateieintrag in Apache Spark

Ich habe mit der folgenden Logik mit Apache Spark kämpfen. Meine Eingabedatei hat Reihen in dem folgenden Format rohr begrenzt: 14586|9297,0.000128664|9298,0.0683921 14587|4673,0.00730174 14588|9233

1Hitze

1Antwort

Apache Spark geschachtelt Iterationen in Scala Statistiken RDD erzeugen

Ich habe eine RDD hergestellt von RowKey = client_id, Kampagnen = ein Json Array von {campaign_id: CAMPAIGN_NAME} val clientsRDD = resultRDD.map(ClientRow.parseClientRow) // change RDD of ClientRow o

2Hitze

1Antwort

So speichern Sie Iterable [String] zu hdfs in Spark-Scala

So speichern Sie die Ausgabe, die Iterable [String] zu hdfs in Spark-Scala ist. Iterable [Zeichenfolge] Hinweis: ouput ist kein RDD (Ich kann nicht output.saveAsTextFile verwenden („hdfs-Pfad“)

0Hitze

1Antwort

RDD, PySpark, Warum rdd.flatMap scheint keine Operation in CPU?

meinen Code anzeigen In [10]: rdd = sc.mongoPairRDD("mongodb://localhost/stackoverflow.stack") ...... A lot of INFO ...... In [11]: newrdd = rdd.flatMap(f) # No INFO In [12]: newrdd.col

0Hitze

1Antwort

RDD verwandeln sich in Spark-

ich die nächste RDD haben, die wie folgt aussieht: ((0,1), 2) ((0,2), 3) ((1,1), 3) Ich bin derzeit auf der Suche für einige Verfahren, die die gegebene RDD in die Form zu konvertieren: In ([0, 2,

1Hitze

1Antwort

Wie können wir ein HadoopRDD-Ergebnis in ein Parquet-Format konvertieren?

Ich versuche, eine DynamodDB Tabelle mit Apache Spark zu lesen. Folgende ist meine Umsetzung: So in die Spark-Shell spark-shell --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar import org.apache.

0Hitze

1Antwort

Split ein Funke Datenrahmen mit zeilenbegrenzer

Hier ist mein Datenrahmen Die Basis RDD, dass dieser Datenrahmen arbeitet an mit Index gezippt. Ich möchte diesen ursprünglichen Datenrahmen in mehrere Datenrahmen aufteilen, wobei das Trennzeichen au

2Hitze

2Antwort

Elemente von RDD in Spark-Anwendung speichern

Ich bin Spark-Anwendung auf einem Cluster ausgeführt. Ich möchte einige Operationen für jedes Element in RDD ausführen und jedes Element in einer Textdatei speichern. I foreach auf myRDD myRDD.foreach

1Hitze

1Antwort

Wie man eine RDD effizient durchquert

Zum Beispiel habe ich eine Scala RDD mit 10000 Elementen, ich möchte jedes Element eins nach dem anderen behandeln. Wie mache ich das? Ich habe versucht, take(i).drop(i-1) zu verwenden, aber es ist au

0Hitze

2Antwort

Vergleichen von zwei RDDs

Ich habe zwei RDD [Array [String]], nennen wir sie rdd1 und rdd2. Ich würde eine neue RDD erstellen, die nur die Einträge von rdd2 nicht in rdd1 (basierend auf einem Schlüssel) enthält. Ich benutze Sp