apache-spark

8Hitze

2Antwort

Apache-Funke beim Zwischenspeichern des Speichers

Spark speichert den Arbeitsdatensatz im Speicher und führt dann Berechnungen mit Speichergeschwindigkeiten durch. Gibt es eine Möglichkeit zu steuern, wie lange der Arbeitssatz im RAM liegt? Ich habe

15Hitze

1Antwort

Was sind Broadcast-Variablen? Welche Probleme lösen sie?

Ich werde durch Spark-Programmierhandbuch, das sagt: Broadcast-Variablen kann der Programmierer auf jeder Maschine eher eine nur lesbare Variable gecached zu halten, als eine Kopie davon mit Aufgaben

11Hitze

4Antwort

Wie findet man den maximalen Wert in RDD?

Ich habe ein Funke Paar RDD (Schlüssel, zählen) wie unten Array[(String, Int)] = Array((a,1), (b,2), (c,1), (d,3)) Wie den Schlüssel mit der höchsten Zählung mit Funken scala API zu finden? EDIT: Da

17Hitze

2Antwort

Welche Funktion in Spark verwendet wird, um zwei RDDs durch Tasten zu kombinieren

Sagen wir, ich habe die folgenden zwei RDDs, mit den folgenden Schlüsselpaaren Werte. rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] und rdd2 = [ (key1, [value5, value6]), (key2, [val

7Hitze

3Antwort

Warum wirft Spark-Shell ArrayIndexOutOfBoundsException beim Lesen einer großen Datei aus HDFS?

Ich benutze hadoop 2.4.1 und Spark 1.1.0. Ich habe einen Datensatz von Lebensmitteln Beitrag zu HDFS von here hochgeladen und dann habe ich den folgenden Code die Datei und verarbeiten es auf der Funk

6Hitze

1Antwort

PySpark Broadcast-Variablen von lokalen Funktionen

Ich versuche, Broadcast-Variablen innerhalb von Python-Methoden zu erstellen (versuchen, einige Hilfsprogramme zu abstrahieren, die ich verteilte Operationen erstellen). Ich kann jedoch nicht auf die

9Hitze

2Antwort

Sortieren nach Wert in Funkenpaar RDD

Ich habe ein Funke Paar RDD (Schlüssel, zählt) wie unten Array[(String, Int)] = Array((a,1), (b,2), (c,1), (d,3)) Mit Funken scala API wie ein neues Paar RDD zu erhalten, die nach Wert sortiert wird

23Hitze

1Antwort

Was bedeutet "Locality Level" auf Spark-Cluster

Was bedeutet der Titel "Locality Level" und die 5 Status Daten lokalen -> Prozess lokal -> Knoten lokal -> Rack lokal -> Any ?

6Hitze

5Antwort

Spark-Streaming Elasticsearch Abhängigkeiten

Im Versuch, Spark-& Elasticsearch Integration in scala, wie beschrieben in Elasticsearch Guide Ich habe Probleme mit Abhängigkeiten beim Kompilieren: [trace] Stack trace suppressed: run last *:update

16Hitze

4Antwort

Spark iterate HDFS Verzeichnis

Ich habe ein Verzeichnis von Verzeichnissen auf HDFS, und ich möchte über die Verzeichnisse iterieren. Gibt es eine einfache Möglichkeit, dies mit Spark mithilfe des SparkContext-Objekts zu tun?