rdd

0Hitze

1Antwort

zip RDDs aus verschiedenen Eingabedateien

Ich habe zwei Dateien in HDFS mit der gleichen Anzahl von Zeilen. Zeilen aus den Dateien entsprechen einander nach Zeilennummer. lines1=sc.textFile('1.txt') lines2=sc.textFile('2.txt') Meine Frage

2Hitze

2Antwort

Funke: Erweiterung des RDD (Key, List) zu RDD (Schlüssel, Wert)

So habe ich eine RDD von so etwas wie dieses RDD[(Int, List)]] Wo ein einzelnes Element in der RDD wie (1, List(1, 2, 3)) sieht Meine Frage ist, wie kann ich den Schlüssel Wertpaar zu so etwas wie

-1Hitze

1Antwort

Funken: eine RDD durch mehrere Werte in einem Tupel sortieren/Spalten

So habe ich eine RDD als RDD[(String, Int, String)] Und als Beispiel folgt ('b', 1, 'a') ('a', 1, 'b') ('a', 0, 'b') ('a', 0, 'a') Das Endergebnis sollte so etwas wie aussehen ('a',

0Hitze

1Antwort

Wie Schlüssel-Wert-Format mit Hilfe von Scala in Funken

generieren Ich studiere Funken auf virtualbox. Ich benutze ./bin/spark-shell, um Funken zu öffnen und scala zu benutzen. Jetzt war ich verwirrt über das Schlüsselwertformat mit Hilfe von Scala. Ich ha

0Hitze

2Antwort

RDD Als Textdatei speichern

Wie kann ich eine Textdatei mit einem begrenzten Format unter Verwendung der RDD.save als Textdatei speichern? .. Ich muss auch die Dataframe-Spalten als Header schreiben .. Wie erreiche ich das? Gibt

1Hitze

2Antwort

Spark Scala Dataframe: Löschen n. Datensatz

Ist es möglich, n-te Zeile aus einem Datenrahmen zu löschen, ohne collect zu verwenden und dann zurück zu dataframe zu konvertieren. Ich möchte Collect vermeiden, da ich einen großen Datensatz habe. V

0Hitze

1Antwort

Wie speichere ich eine Datei in einem Spark PairRDD mit dem Schlüssel als Dateiname und dem Wert als Inhalt?

In Spark habe ich mehrere Dateien von s3 mit sc.binaryFiles heruntergeladen. Die resultierende RDD hat den Schlüssel als Dateiname und der Wert hat den Inhalt der Datei. Ich habe den Dateiinhalt dekom

0Hitze

1Antwort

Fehler bei der Verwendung globaler Variablen in Spark-Projekt

In einem PySpark-Projekt, das mehrere .py-Dateien enthält, gibt es eine Datei namens , in der alle globalen Variablen deklariert werden. # settings.py def prepareMyList(): return ['35','19','10

0Hitze

1Antwort

pyspark aufgeteilt Text mit id

Ich habe ein aktuelles RDD Daten wie diese DataRDD = [(0,u'A chunk of text'),(1,u'Test sentence check')] mein Ziel ist so braucht diesen Text in Worte zu spalten, während id jenes Satzes hält mein E

0Hitze

1Antwort

Aktualisieren einer Pyspark-Datenframe-Spalte mit einer RDD von Tupeln

Ich arbeite mit Daten, bei denen Benutzerinformationen String ist. Ich möchte diesen Strings eindeutige Integer-Werte zuweisen. Ich folgte diesem Stapelüberlaufpfosten etwas here. Ich bin mit dem folg