2016-05-13 15 views
0

Ich starte die Sparkling-Shell mit dem folgenden Befehl.H2o Anzahl der Executoren funktioniert nicht

./bin/sparkling-shell --num-Vollstrecker 4 --executor-Speicher 4g --master Garn-Client

ich je nur zwei Testamentsvollstrecker bekommen. Ist das ein H2o-Problem, ein YARN-Problem oder ein Spark-Problem?

Mike

+0

Welche Version von Spark und Sparkling Wasser verwenden Sie? Könnten Sie auch erklären "Ich bekomme nur zwei Vollstrecker"? Wie überprüfen Sie es? –

+0

Mögliches Duplikat von [wie man Executoren zum Ausführen eines Funke-Programms mit --num-executors macht?] (Http://stackoverflow.com/questions/34352669/how-to-make-executors-run-spark-program-by- using-num-executors/34353466 # 34353466) –

+0

@GlennieHellesIndhold könnte dies eher mit Spakling Water zu tun haben, leider von dem, was meine Kollegen mir erzählten. Wir hatten ähnliche Probleme und arbeiten daran. OP möchte uns aber mehr Informationen geben. –

Antwort

0

Ich habe über das Problem, indem sie die folgenden vier Werte in cloudera Manager Ändern

Setting         Value 
yarn.scheduler.maximum-allocation-vcores 8 
yarn.nodemanager.resource.cpu-vcores  4 
yarn.nodemanager.resource.cpu-vcores  4 
yarn.scheduler.maximum-allocation-mb  16 GB 
1

Es kann für dieses Verhalten mehrere Gründe.

YARN kann Ihnen basierend auf den verfügbaren Ressourcen (Speicher, VCores) nur die Anzahl der Executoren geben. Wenn Sie nach mehr verlangen, dann haben Sie Ressourcen, es gibt Ihnen max, was es kann.

Es kann auch Fall sein, wenn die dynamische Zuweisung aktiviert ist. Dies bedeutet, dass Spark neue Executoren erstellt, wenn sie benötigt werden.

Um einige technische Details in Sparkling Water zu lösen, müssen wir alle verfügbaren Executoren zu Beginn der Anwendung finden, indem wir künstliche Berechnungen erstellen und versuchen, den gesamten Cluster zu nutzen. Dies könnte Ihnen auch weniger Executoren geben.

Ich würde vorschlagen, Blick auf https://github.com/h2oai/sparkling-water/blob/master/doc/tutorials/backends.rst, wo Sie mehr über den obigen Absatz lesen können und wie es mit so genannten externen Sprudelwasser Backend gelöst werden kann.

Sie können auch hier schauen https://github.com/h2oai/sparkling-water/blob/master/doc/configuration/internal_backend_tuning.rst. Dies ist der Sparkling Water Guide zum Einstellen der Konfiguration.

Kuba