Ändern Hadoop-Version mit Spark-ec2

Question

Ich möchte wissen, ist es möglich, die Hadoop-Version zu ändern, wenn der Cluster von Spark-ec2 erstellt wird?

versuchte ich

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster 

dann melde ich mich mit

spark-ec2 -k spark -i ~/.ssh/spark.pem login my-spark-cluster 

und fand die hadoop Version 1.0.4 ist raus.

Ich möchte 2.x-Version von Hadoop verwenden, was ist der beste Weg, dies zu konfigurieren?

Answer 1

Hadoop 2,0

spark-ec2 Skript nicht Modifizierung vorhandenen Cluster nicht unterstützt, aber Sie können erstellen einen neuen Spark-Cluster mit Hadoop 2.

diesen Auszug Siehe aus dem Skript --help:

--hadoop-major-version=HADOOP_MAJOR_VERSION 
        Major version of Hadoop (default: 1) 

So zum Beispiel:

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 --hadoop-major-version=2 launch my-spark-cluster 

..will Sie einen Cluster mit aktuellen Version von Funken und Hadoop 2.

erstellen Wenn Sie Spark-v verwenden. 1.3.1 oder Funken v. 1.4.0 und wird ein erstellen Standalone-Cluster, dann erhalten Sie auf diese Weise Hadoop v. 2.0.0 MR1 (von Cloudera Hadoop Platform 4.2.0 Verteilung).

Die Einsprüche sind:

• einige Features sind noch nicht mit dieser Hadoop-Version unterstützt, da der Fehler - for example there is a problem with using Tachyon,
• obwohl in der Theorie in Spark-1.4.0 you can create a YARN cluster using spark-ec2 seine [nicht dokumentiert noch] ab Juni 2015 und unsere Versuche, es zu verwenden, sind fehlgeschlagen,

..aber ich habe erfolgreich verwendet ein paar Cluster von Spark 1.2.0 und 1.3.1 erstellt mit Hadoop 2.0.0, mit einigen Hadoop2-spezifischen Funktionen. (Für Spark 1.2.0 mit ein paar Veränderungen, die ich in meiner Gabeln Spark gesetzt und spark-ec2, aber das ist eine andere Geschichte.)

Hadoop 2.4, 2.6

Wenn Sie Hadoop 2.4 oder Hadoop 2.6 dann würde ich derzeit (Stand Juni 2015) empfehlen, einen eigenständigen Cluster manuell zu erstellen - es ist einfacher als Sie wahrscheinlich denken.