apache-spark

6Hitze

1Antwort

Verbinden mit Funken über einen SOCKS-Proxy

TL; DR Wie kann ich einen lokalen Treiber über einen SOCKS-Proxy mit einem Funkencluster verbinden. Wir haben einen Spark-Cluster vor Ort, der hinter einer Firewall steht, die die meisten Ports blocki

5Hitze

2Antwort

Warnung bei der Verwendung von RDD zum Verständnis

Ich bekomme eine Warnung, wenn Sie eine RDD in einem für den Einsatz verwenden, und ich bin mir nicht sicher, ob es etwas ist, was ich falsch mache. Wenn ich dies tun: val sc = new SparkContext(...)

8Hitze

2Antwort

Ist Apache Spark weniger genau als Scikit Learn?

Ich habe kürzlich versucht, Apache Spark als Ersatz für Scikit Learn kennenzulernen, aber es scheint mir, dass Scikit selbst in einfachen Fällen viel schneller zu einem akkuraten Modell konvergiert al

19Hitze

6Antwort

Spark-Anwendung wirft javax.servlet.FilterRegistration

Ich benutze Scala, um eine Spark-Anwendung lokal zu erstellen und auszuführen. Mein build.sbt: name : "SparkDemo" version : "1.0" scalaVersion : "2.10.4" libraryDependencies += "org.apache.spark" %

6Hitze

1Antwort

Nicht aufgelöste Abhängigkeit beim Assembly Spark 1.2.0

Ich versuche, Spark 1.2.0 auf Ubuntu zu bauen, aber ich bekomme Abhängigkeitsprobleme. ich herunterladen grundsätzlich die Dateien extrahieren, um den Ordner und führen Sie sbt/sbt/Montage sbt = 0.13.

9Hitze

6Antwort

funken ssc.textFileStream ist keine Dateien aus dem Verzeichnis

streamen Ich versuche, Code unter Verwendung von Eclipse (mit Maven Conf) mit 2 Arbeiter ausführen und jeder haben 2 Kern oder auch mit Spark-Submit versucht. public class StreamingWorkCount implement

11Hitze

1Antwort

Funke: Repartition Strategie nach Textdatei lesen

ich meine Cluster auf diese Weise gestartet haben: /usr/lib/spark/bin/spark-submit --class MyClass --master yarn-cluster--num-executors 3 --driver-memory 10g --executor-memory 10g --executor-cores 4 /

9Hitze

1Antwort

Wie konvertiert man Matrix zu RDD [Vector] in spark

Wie konvertiert man in Spark von org.apache.spark.mllib.linalg.Matrix zu RDD[org.apache.spark.mllib.linalg.Vector]? Die Matrix wird von SVD generiert, und ich verwende die Ergebnisse von SVD, Clustera

6Hitze

2Antwort

Kann Spark nicht im eigenständigen Modus auf Mac

Spark Spark ausführen Ich versuche Spark zu lernen, indem Sie es im eigenständigen Modus auf meinem MacBook Pro (10.9.2) ausführen. Ich heruntergeladen & baute sie die Anweisungen unter Verwendung von

51Hitze

7Antwort

Wie übergeben Sie -D-Parameter oder Umgebungsvariable an Spark-Job?

Ich möchte Typesafe config eines Spark-Jobs in der Umgebung dev/prod ändern. Es scheint mir, dass der einfachste Weg, dies zu erreichen, -Dconfig.resource=ENVNAME an den Job übergeben wird. Dann wird