apache-spark

7Hitze

4Antwort

Ausführen von Operationen nur auf einer Teilmenge einer RDD

Ich möchte einige Transformationen nur auf einer Teilmenge einer RDD durchführen (um das Experimentieren mit REPL zu beschleunigen). Ist es möglich? RDD hat take(num: Int): Array[T] Methode, glaube ic

5Hitze

1Antwort

Spark Job ist aufgrund von java.io.NotSerializableException fehlgeschlagen: org.apache.spark.SparkContext

Ich bin oben Ausnahme, wenn ich versuche, eine Methode (ComputeDwt) auf RDD[(Int,ArrayBuffer[(Int,Double)])] Eingabe anzuwenden. Ich verwende sogar extends Serialization Option, um Objekte in Spark se

9Hitze

1Antwort

Anreichern von SparkContext ohne Serialisierungsprobleme

Ich versuche, Spark zu verwenden, um Daten zu verarbeiten, die von HBase-Tabellen stammen. This blog post gibt ein Beispiel für die Verwendung von NewHadoopAPI zum Lesen von Daten aus einem beliebigen

9Hitze

2Antwort

Umgehen org.apache.hadoop.mapred.InvalidInputException: Eingabe Muster s3n: // [...] entspricht 0 Dateien

Dies ist eine Frage, die ich already asked auf der Spark Benutzer Mailing-Liste habe und ich hoffe, hier mehr Erfolg zu bekommen . Ich bin nicht sicher, dass es direkt mit Funken zusammenhängt, obwohl

9Hitze

1Antwort

Wie kann ich meinen Jar für Spark Cluster im Standalone-Modus einfacher bereitstellen?

Ich habe einen kleinen Cluster mit 3 Maschinen, und eine andere Maschine zum Entwickeln und Testen. Bei der Entwicklung setze ich SparkContext auf local. Wenn alles in Ordnung ist, möchte ich die Jar-

20Hitze

3Antwort

Verwenden von reduceByKey in Apache Spark (Scala)

Ich habe eine Liste von Tupel des Typs: (Benutzer-ID, Name, Anzahl). Zum Beispiel val x = sc.parallelize(List( ("a", "b", 1), ("a", "b", 1), ("c", "b", 1), ("a", "d", 1)) ) Ich v

8Hitze

3Antwort

reduceByKey Methode nicht in IntelliJ

hier gefunden wird, ist Code Ich versuche, für reduceByKey aus: import org.apache.spark.rdd.RDD import org.apache.spark.SparkContext._ import org.apache.spark.SparkContext import scala.math.random

270Hitze

1Antwort

Apache Spark vs Apache Storm

Was sind die Unterschiede zwischen Apache Spark und Apache Storm? Was sind geeignete Anwendungsfälle für jeden einzelnen?

22Hitze

4Antwort

Spark Kontext Textdatei: Laden Sie mehrere Dateien

Ich muss mehrere Dateien über verschiedene Verzeichnisse verstreut verarbeiten. Ich würde gerne alle diese in einer einzigen RDD laden und dann map/reduce darauf durchführen. Ich sehe, dass SparkConte

10Hitze

1Antwort

Wie werden Jobs in Spark-Streaming Executoren zugewiesen?

Sagen wir, ich habe 2 oder mehr Vollstrecker in einer Spark-Streaming-Anwendung. Ich habe die Batch-Zeit von 10 Sekunden eingestellt, so dass alle 10 Sekunden ein Job gestartet wird, der Eingaben von