Mutter bissig Bibliothek nicht verfügbar: Diese Version von libhadoop ohne bissig Unterstützung gebaut wurde

Question

ich den obigen Fehler bekam, als ich MLUtils saveAsLibSVMFile wurde mit. versuchte verschiedene Ansätze wie unten, aber nichts hat funktioniert.

\t \t /* 
 
\t \t conf.set("spark.io.compression.codec","org.apache.spark.io.LZFCompressionCodec") 
 
\t \t */ 
 

 
\t \t /* 
 
\t \t conf.set("spark.executor.extraClassPath","/usr/hdp/current/hadoop-client/lib/snappy-java-*.jar") 
 
\t \t conf.set("spark.driver.extraClassPath","/usr/hdp/current/hadoop-client/lib/snappy-java-*.jar") 
 
\t \t 
 
    \t \t conf.set("spark.executor.extraLibraryPath","/usr/hdp/2.3.4.0-3485/hadoop/lib/native") 
 
    \t \t conf.set("spark.driver.extraLibraryPath","/usr/hdp/2.3.4.0-3485/hadoop/lib/native") 
 
\t \t */

las ich die folgenden Links https://community.hortonworks.com/questions/18903/this-version-of-libhadoop-was-built-without-snappy.html

Schließlich gibt es nur zwei Möglichkeiten gab ich es lösen könnte. Dies wird in der Antwort unten angegeben.

Answer 1

1. Ein Ansatz war einen anderen hadoop Codec wie zu verwenden, unter sc.hadoopConfiguration.set("mapreduce.output.fileoutputformat.compress", "true") sc.hadoopConfiguration.set("mapreduce.output.fileoutputformat.compress.type", CompressionType.BLOCK.toString) sc.hadoopConfiguration.set("mapreduce.output.fileoutputformat.compress.codec", "org.apache.hadoop.io.compress.BZip2Codec") sc.hadoopConfiguration.set("mapreduce.map.output.compress", "true") sc.hadoopConfiguration.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress.BZip2Codec")

2. Zweiter Ansatz war --driver-library-path /usr/hdp/<whatever is your current version>/hadoop/lib/native/ als Parameter an meinen Funken einreichen Job (in Befehl zu schweigen Linie)