apache-spark-mllib

1Hitze

1Antwort

Ich versuche, eine Spark-Rowmatrix zu invertieren. Die Funktion, die ich verwende, ist unten. def computeInverse(matrix: RowMatrix): BlockMatrix = { val numCoefficients = matrix.numCols.toInt val s

0Hitze

1Antwort

, wie Datensätze Informationen beim Arbeiten in Mllib

Ich arbeite an einem Klassifizierungsproblem, in dem ich MLLIB-Bibliothek verwenden muss. Die Klassifizierungsalgorithmen (sagen wir logistische Regression) in mllib erfordern eine RDD [LabeledPoint].

0Hitze

1Antwort

Warum gibt ALS.trainImplicit bessere Vorhersagen für explizite Bewertungen?

Edit: Ich habe versucht, eine eigenständige Spark-Anwendung (anstelle von PredictionIO) und meine Beobachtungen sind die gleichen. Das ist also kein PredictionIO-Problem, aber immer noch verwirrend. I

0Hitze

1Antwort

Wie kann ich eine symmetrische Abtastung für die binäre Klassifizierung auswählen?

Es ist mein Code, Lastdaten von hive und tun Balance Beispiel: // Load SubSet Data val dataList = DataLoader.loadSubTrainTestData(hiveContext.sql(sampleDataHql)) // Split Data to Train and Test va

2Hitze

1Antwort

Apache Spark - MLlib - Matrix Multiplikation

Ich versuche MLlib für Matrix-Multiplikation Problem zu verwenden. Ich bin mir bewusst, dass Spark MLLib native Bibliotheken verwendet, die auf den Knoten vorhanden sein müssen. (dass es nicht mit Fun

0Hitze

1Antwort

Wie passen zwei numpy Matrizen mit PYSPARKS SVM?

Ich habe zwei numpy Matrizen wie folgt aus: Features: (878049, 6) <type 'numpy.ndarray'> Labels: (878049,) <type 'numpy.ndarray'> Ich war neugierig, wenn ich Pyspark's random f

15Hitze

4Antwort

Apache Spark: StackOverflowError beim Versuch, String-Spalten zu indexieren

Ich habe eine CSV-Datei mit etwa 5000 Zeilen und 950 Spalten. Zuerst habe ich es zu Datenframe laden: val data = sqlContext.read .format(csvFormat) .option("header", "true") .option("in

1Hitze

1Antwort

Nicht ganzzahlige IDs in Spark-MLlib ALS

würde Ich mag val ratings = data.map(_.split(',') match { case Array(user,item,rate) => Rating(user.toInt,item.toInt,rate.toFloat) }) val model = ALS.train(ratings,rank,numIter

4Hitze

1Antwort

berechnen RMSE in ALS-Modell

Ich mag würde RMSE bei ALS-Modell berechnen, finde ich Code wie folgt: val ratings = data.map(_.split(',') match { case Array(user,item,rate) => Rating(user.toLong,item.toInt,rate.to

2Hitze

1Antwort

Verfügt Apache Storm über Maschinenlernbibliotheken wie Apache Spark?

Ich vergleiche Apache Storm und Apache Spark Streaming für die Wahl eines verteilten Echtzeit-Berechnungssystem. Es gibt bereits viele Diskussionen, die Vergleiche zwischen diesen beiden Technologien