rdd

6Hitze

2Antwort

Schreiben RDD-Partitionen in einzelne Parkett-Dateien in einem eigenen Verzeichnis

Ich habe Schwierigkeiten mit Schritt, wo ich jede RDD-Partition zu separieren Parkett-Datei mit einem eigenen Verzeichnis schreiben möchte. Beispiel ist: <root> <entity=entity1> <year=201

10Hitze

2Antwort

Spark wenn Union viele RDD wirft Stack Overflow Fehler

Wenn ich "++" zu viele RDDs kombinieren, bekam ich Fehler Stack über Flow-Fehler. Spark Version 1.3.1 Umgebung: Garn-Client. --driver-memory 8G Die Anzahl der RDDs beträgt mehr als 4000. Jede RDD wird

7Hitze

2Antwort

Wie überprüft man, ob Spark RDD im Speicher ist?

Ich habe eine Instanz von org.apache.spark.rdd.RDD [MyClass]. Wie kann ich programmgesteuert überprüfen, ob die Instanz persist \ inmemory ist?

5Hitze

1Antwort

Wie werden Partitionen Aufgaben in Spark zugeordnet?

Wenn ich eine RDD in sage 60 partitioniere und ich insgesamt 20 Kerne habe, die auf 20 Maschinen verteilt sind, d. H. 20 Instanzen von Einzelkernmaschinen, dann ist die Anzahl der Aufgaben 60 (gleich

19Hitze

4Antwort

Berechnung der Durchschnittswerte für jede KEY in einer paarweisen (K, V) RDD in Spark mit Python

Ich möchte diese bestimmte Apache Spark mit Python-Lösung teilen, weil die Dokumentation dafür ziemlich schlecht ist. Ich wollte den Durchschnittswert von K/V-Paaren (gespeichert in einer paarweisen R

5Hitze

2Antwort

Wie füge ich einer Spark RDD eine neue Spalte hinzu?

Ich habe eine RDD mit viele Spalten (z. B. Hunderte), wie füge ich eine weitere Spalte am Ende dieser RDD? Zum Beispiel, wenn mein RDD ist wie unten: 123, 523, 534, ..., 893 536, 98, 1623, ..., 9

7Hitze

1Antwort

Spark-JSON Textfeld RDD

ich eine cassandra Tabelle mit einem Feld vom Typ Text namens Snapshot enthält JSON-Objekte habe: [identifier, timestamp, snapshot] verstand ich, dass in der Lage sein, Transformationen mit Funken a

7Hitze

2Antwort

Spark/Scala: RDD zu Funktion übergeben

Ich bin gespannt, was genau eine RDD an eine Funktion in Spark übergeben. def my_func(x : RDD[String]) : RDD[String] = { do_something_here } Angenommen, wir definieren eine Funktion wie oben.

11Hitze

1Antwort

Gibt es eine „RDD Explain“ in Funken

Insbesondere dann, wenn ich sage, rdd3 = rdd1.join(rdd2) dann, wenn ich rdd3.collect nennen, je nach Partitioner verwendet, entweder Daten zwischen den Knoten Partitionen bewegt wird, oder die Verbi

5Hitze

3Antwort

So laden Sie Daten aus gespeicherter Datei mit Spark

Spark bieten Methode saveAsTextFile, die RDD[T] in Disk oder hdfs leicht speichern können. T ist eine beliebige serialisierbare Klasse. Ich möchte den Vorgang umkehren. Ich frage mich, ob es eine load