apache-spark-mllib

2Hitze

1Antwort

Wie man Spark Mllib Submodul einzeln erstellt

Ich modifizierte die MLLIB in Spark und möchte das angepasste mllib Jar in anderen Projekten verwenden. Es funktioniert, wenn ich bauen Funke mit: build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0

2Hitze

2Antwort

Konvertieren JavaRDD <Row> zu JavaRDD <Vector>

Ich versuche, LDA auf Wikipedia XML-Dump durchzuführen. Nachdem ich eine RDD von unformatiertem Text bekommen habe, erstelle ich einen Datenrahmen und transformiere ihn durch Tokenizer, StopWords und

-1Hitze

1Antwort

pyspark Wrapper für IndexedRowMatrix multiplizieren()

Der PySpark-Wrapper für die Klasse IndexedRowMatrix enthält nicht alle Methoden - speziell die multiply() -Methode fehlt, obwohl sie in der Java-Implementierung enthalten ist, die sie umschließt. Ich

5Hitze

1Antwort

RandomForestClassifier erhielt Eingabe mit ungültigen Label-Spalte Fehler in Apache Spark

Ich versuche, Genauigkeit mit 5-fach Kreuz Validierung mit Random Forest Classifier Modell in SCALA zu finden. Aber ich bin immer die folgende Fehlermeldung beim Laufen: java.lang.IllegalArgumentExcep

0Hitze

1Antwort

Verwendung von trainImplicit für ein Empfehlungssystem

Sagen wir, ich habe eine Datenbank mit Benutzern, die Produkte kaufen (Es gibt keine Bewertungen oder ähnliches) und ich möchte andere Produkte für sie empfehlen. Ich verwende ATL.trainImplicit, wo di

7Hitze

3Antwort

wie RMSE (mittlerer quadratischer Fehler) klein, wenn ALS von Funken zu verwenden?

Ich brauche einige Vorschläge, um ein gutes Modell zu bauen, um Empfehlung zu machen, indem man Collaborative Filtering des Funkens verwendet. Es gibt einen Beispielcode in official website. Ich bin a

2Hitze

1Antwort

PCA-Eingaben Fehler Argument mit mehr als 65535

Wenn PCA in spark.mllib.feature verwendet wird, ist die Spalte meiner Eingabedaten über 65535, aber die in PCA definierte RowMatrix ist < 65535, bedeutet dies, dass ich PCA nicht verwenden kann ?

0Hitze

2Antwort

Missverständnis einiger Teile eines Beispiels in Spark MLlib

Ich folge diesem example, um einen einfachen personalisierten Demo-Empfehler mit Spark MLLib zu erstellen. ich falsch verstehen leicht die Bedeutung von _._2.user und _._2.product in diesen Zeilen Cod

0Hitze

1Antwort

Mehrere Typen für eine Variable in Spark mit Hilfe von Scala

Ich arbeite an einem Spark-Projekt mit scala. Ich möchte ein Modell trainieren, das k_means, gaussian_mixture, logistische Regression, naive_bayes etc. sein kann. Aber ich kann ein generisches Modell

0Hitze

1Antwort

Korbanalyse mit Spark-FP-Growth

Hy, Ich versuche, eine Empfehlung Korbanalyse mit Funken mit FP-Growth-Algorithmus Ich habe diese Transaktionen val transactions = sc.parallelize(Seq( Array("Tuna", "Banana", "Strawberry"), A