Kann ich MKL-Bibliotheken von Anaconda mit Spark verwenden

Question

Ich möchte MKL-Bibliotheken mit Anaconda mit Spark verwenden. Ich installierte libgfortran

conda install libgfortran 

verknüpft Libs

ln -s $PATH_TO_ANACONDA/lib/libmkl_rt.so $PATH_TO_ANACONDA/lib/liblapack.so.3 
ln -s $PATH_TO_ANACONDA/lib/libmkl_rt.so $ PATH_TO_ANACONDA/lib/libblas.so.3 

und platziert PATH_TO_ANACONDA/lib auf LD_LIBRARY_PATH

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$PATH_TO_ANACONDA/lib 

aber wenn ich Funken laufen ALS example Ich sehe

WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS 
WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK 
WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK 

so Ich denke, es hat nicht funktioniert. Ist damit eindeutig etwas nicht in Ordnung?

Answer 1

Sie können jede Bibliothek verwenden, solange Sie sie auf die Knoten laden. Verwenden Sie --packages mit den Bibliotheken, die Sie verwenden möchten