apache-spark-mllib

0Hitze

1Antwort

Apache Funke 1.6+ Fehler beim Laden der Klasse für Datenquelle LIBSVM

habe ich die precompile Version von Apache Funken herunterladen 1.6.0/1.6.1 und wenn ich versuche, scala> val data = sqlContext.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt") in me

0Hitze

2Antwort

Wie man Linie in Funken rdd Kartenaktion basierend auf If Bedingung überspringt

Ich habe eine Datei und ich möchte es zu einem MLLIB-Algorithmus geben. So folge ich dem Beispiel und tun so etwas wie: val data = sc.textFile(my_file). map {line => val parts = line.split

1Hitze

1Antwort

MLlib LogisticRegressionWithLBFGS Fehler bei der Verwendung von Model.Predict

Ich verwende MLlib LogisticRegressionWithLBFGS, um ein Modell mit 4 Klassen zu trainieren. Dies ist der Code meiner Daten für die Vorbereitung, val labeledTraining = trainingSetVectors.map{case(target

3Hitze

1Antwort

ML lib Empfehlungen zu Textdatei schreiben

Ich verwende die ALS-Implementierung in mllib (in Scala), um Produktempfehlungen für eine Gruppe von Benutzern zu generieren. Meine ALS-Implementierung funktioniert gut und generiert Bewertungen. Ich

1Hitze

1Antwort

Bewertungsmetrik für binäre Klassifizierung in Spark: AUC- und PR-Kurve

Ich habe versucht, Precision, Recall by Threshold für LogisticRegression mit LBFGS unter Verwendung von BinaryclassificationMetrics zu berechnen. Ich habe all diese. Ich versuchte herauszufinden, ob i

0Hitze

1Antwort

Wie konvertiert RDD [Zeile] zu RDD [Vektor]

Ich versuche, k-Means-Methode mit Hilfe von Scala zu implementieren. habe ich eine RDD etwas wie die val df = sc.parallelize(data).groupByKey().collect().map((chunk)=> { sc.parallelize(chunk._2.t

0Hitze

1Antwort

Wie speichern FP-Growth-Modell FrequentItemSet Ergebnisse in einer Textdatei?

Ich versuche, die aus dem Modell generierten häufigen Itemsets in einer Textdatei zu speichern. Der Code ist ein Beispiel für das FPGrowth-Beispiel in der Spark ML-Bibliothek. Wenn saveAsTextFile dire

0Hitze

1Antwort

sc.parallelize arbeiten in der ML-Pipeline mit dem Trainingsalgorithmus

Mit org.apache.spark.mllib Lernalgorithmen, wir die Pipeline ohne den Trainingsalgorithmus var stages: Array[org.apache.spark.ml.PipelineStage] = index_transformers :+ assembler val pipeline = new Pi

5Hitze

2Antwort

Pyspark Computing Korrelation

Ich möchte pyspark.mllib.stat.Statistics.corr Funktion verwenden, um die Korrelation zwischen zwei Spalten von pyspark.sql.dataframe.DataFrame Objekt zu berechnen. corr Funktion erwartet, eine rdd von

1Hitze

1Antwort

Spark Streaming Model Overwrite

Diese so einfache Frage. Wie kann ich mein aktualisiertes Modell mit demselben Namen im selben Verzeichnis speichern? org.apache.spark.sql.AnalysisException: path file:/home/mali/model/UpdatedmyRandom