Funken MLlib - Training Collaborative Filtering mit implizite Feedback - seltsame Warnungen

Question

ich Collaborative filtering Modell auf den Benutzer Aufträge zu bauen bin versucht und einige nützliche Ergebnisse mit ALS.train() bekommen, aber ich möchte ALS.trianImplicit() versuchen, aber trianImplicit() ist nur Nullen auf der gleichen Datenmenge die Vorhersage der ASL.train() Ich bekam anständige Vorhersagen.

Wenn ALS.trianImplicit() mit dem Modell zu trainieren, war ich folgende Warnungen erhalten:

15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS 

Bedeutet dies, dass es ein Fehler und nicht die Warnungen waren und Modell kann einfach nicht alles trainieren, weil die Bibliotheken fehlen?

Answer 1

Wie @eliasah hat darauf hingewiesen, dass diese Warnungen nicht kritisch, aber möglicherweise die Leistung verlangsamen. Die Verwendung von nativem BLAS kann zu einer enormen Leistungsverbesserung führen. Es gibt einige Anweisungen unter https://github.com/amplab/ml-matrix/blob/master/EC2.md zur Einrichtung von Spark + BLAS auf EC2.

Wenn Ihr Cluster Ubuntu läuft können Sie die folgenden Pakete installieren:

libblas3gf 
libblas-doc 
libblas-dev 

liblapack3gf 
liblapack-doc 
liblapack-dev 

Allerdings haben einige Leute eine bessere Leistung berichtet mit http://www.openblas.net/ so können Sie versuchen, dass die Arbeiter auf Ihrer Installation. Sie müssen auch com.github.fommil.netlib mit Ihrer Anwendung einschließen (Spark verwendet derzeit Version 1.1.2).