HIVE auf Spark-Ausgabe

Question

Ich versuche Hive auf Funken zu konfigurieren, aber auch nach 5 Tage lang versucht, ich bekommen habe keine Lösung ..

Schritte folgen:

1.After Funken Installation, in hive gehen Konsole und Einstellung unter den Funktionen

set hive.execution.engine=spark; 
set spark.master=spark://INBBRDSSVM294:7077; 
set spark.executor.memory=2g;    
set spark.serializer=org.apache.spark.serializer.KryoSerializer; 

2.Added funkensammelglas in hive lib.

3.When läuft select count(*) from table_name Ich erhalte unten Fehler:

2016-08-08 15:17:30,207 ERROR [main]: spark.SparkTask (SparkTask.java:execute(131)) 
- Failed to execute spark task, with exception 
'org.apache.hadoop.hive.ql.metadata.HiveException (Failed to create spark client.)' 

Hive-Version: 1.2.1
Spark-Version: versucht, mit 1.6.1,1.3.1 und 2.0.0
Würde schätzen wenn jemand etwas vorschlagen kann.

Answer 1

Sie können Funken 1.3.1 src von Funken-Download-Website herunterladen und versuchen Funken 1.3.1 ohne hive Version zu bauen mit:

./make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.4" -Dhadoop.version=2.7.1 -Dyarn.version=2.7.1 –DskipTests 

Funken Montage-1.3.1-hadoop2 Dann kopieren. 7.1.jar zu Hive/lib-Ordner.

Und folgen Sie https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started#HiveonSpark:GettingStarted-SparkInstallation, um die erforderlichen Eigenschaften festzulegen.