apache-spark

5Hitze

4Antwort

Was passiert, wenn das Treiberprogramm abstürzt?

Ich verstehe, wie Arbeiterknoten fehlertolerant sind, aber was passiert, wenn Ihr Treiberprogramm aus einem unerwarteten Grund abstürzt? (Stromausfall/Speicherproblem usw.). Ich könnte mir vorstellen,

5Hitze

1Antwort

Funke Fehler RDD-Typ nicht beim Erstellen RDD

Ich versuche, eine RDD der Fall-Klasse-Objekte erstellen. . ZB // sqlContext from the previous example is used in this example. // createSchemaRDD is used to implicitly convert an RDD to a SchemaRDD.

6Hitze

3Antwort

Warum aggregieren und falten zwei verschiedene APIs in Spark?

Wenn der Scala Standard lib verwendet, kann ich ungefähr wie folgt tun: scala> val scalaList = List(1,2,3) scalaList: List[Int] = List(1, 2, 3) scala> scalaList.foldLeft(0)((acc,n)=>acc+n) res0: I

10Hitze

1Antwort

Spark-Konfiguration: Speicher/instance/Kern

In letzter Zeit habe ich mir ein wenig verwirrt zwischen den verschiedenen SPARK Einstellungen gefunden spark.executor.memory, SPARK_WORKER_MEMORY, SPARK_MEM, SPARK_MASTER_MEMORY, und die Beziehung zu

6Hitze

4Antwort

MLlib zu Breeze-Vektoren/Matrizen sind für den Bereich org.apache.spark.mllib privat?

Ich habe irgendwo gelesen, dass lokale MLlib-Vektoren/Matrizen derzeit die Breeze-Implementierung umschließen, aber die Methoden, die MLlib in Breeze-Vektoren/Matrizen konvertieren, sind für den Berei

5Hitze

1Antwort

Ausführen von nosetests für pyspark

Wie würde man Komponententests mit nose für Apache Spark-Anwendungen in Python geschrieben ausführen? Mit nose würde man in der Regel nur den Befehl rufen nosetests die Tests im tests Verzeichnis ei

11Hitze

2Antwort

Wie funktioniert die pyspark mapPartitions-Funktion?

Also versuche ich, Spark mit Python (Pyspark) zu lernen. Ich möchte wissen, wie die Funktion mapPartitions funktioniert. Das ist es, was Input benötigt und was Output gibt. Ich konnte kein richtiges B

8Hitze

4Antwort

Entfernen von leeren Zeichenfolgen aus Karten in Scala

val lines: RDD[String] = sc.textFile("/tmp/inputs/*") val tokenizedLines = lines.map(Tokenizer.tokenize) In dem obigen Codeausschnitt kann die Tokenize-Funktion leere Zeichenfolgen zurückgeben. Wie

6Hitze

1Antwort

RDD von Vector in LabeledPoint mit Scala - MLLib in Apache Spark konvertieren

Ich benutze MLlib von Apache-Spark und Scala. Ich brauche import org.apache.spark.mllib.linalg.{Vector, Vectors} import org.apache.spark.mllib.regression.LabeledPoint in einem LabeledPoint, um ei

6Hitze

1Antwort

Aufruf von Spark-ec2 aus einer EC2-Instanz: SSH-Verbindung zum Host verweigert

Um Amplabs Trainingsübungen auszuführen, habe ich ein Schlüsselpaar unter us-east-1 erstellt, die Trainingsskripts installiert (git clone git://github.com/amplab/training-scripts.git -b ampcamp4) und