Apache Spark - MLlib - Matrix Multiplikation

Question

Ich versuche MLlib für Matrix-Multiplikation Problem zu verwenden.

Ich bin mir bewusst, dass Spark MLLib native Bibliotheken verwendet, die auf den Knoten vorhanden sein müssen. (dass es nicht mit Funkeninstallation kommt).

So schon ich libgfortran Bibliothek auf allen Knoten (ich habe das gleiche wie Apache Spark -- MlLib -- Collaborative filtering)

Aber dann habe ich noch begegnen diesen Fehler bei der Ausführung auf einem Cluster installiert.

Lost task 0.3 in stage 2.0 (TID 11, ibm-power-6.dima.tu-berlin.de): java.lang.UnsatisfiedLinkError: org.jblas.NativeBlas.dgemm(CCIIID[DII[DIID[DII)V 
    at org.jblas.NativeBlas.dgemm(Native Method) 
    at org.jblas.SimpleBlas.gemm(SimpleBlas.java:247) 
    ..... 

Wie kann ich lösen diesen Fehler?

Answer 1

Spark hat jblas für eine Weile nicht verwendet; soweit ich das im Moment nicht sagen kann seit 1.4.0, das vor mehr als einem Jahr herauskam. Die Antwort, die Sie mit Links zu Dokumentation von Spark 0.9.0 verknüpft haben, ist definitiv alt. Die einfachste Lösung scheint also eine aktuellere Spark-Version zu sein.

Wenn das nicht möglich ist, oder wenn Sie in eine Situation kommen, wo Sie jblas haben wieder zu verwenden: es sieht aus wie Sie IBM Power Hardware verwenden. Support für diese Plattform was added to jblas in version 1.2.4, so müssten Sie sicherstellen, dass Sie mindestens diese Version verwenden.