Datastax Enterprise-Anzahl verfügbarer Cores

Question

Ich habe den Datastax Enterprise-Cluster in AWS mithilfe von 3 m3.large-Instanzen erstellt, wobei alle 3 Knoten Analyseknoten sind, auf denen Spark ausgeführt wird.

3 m3.large amazon Instanzen haben jeweils 2 Kerne, also insgesamt 6 Kerne.

Auf Spark Master Web UI sehe ich nur 3 Kerne insgesamt -> auf der Web-UI von jedem der Arbeiter Knoten, sehe ich nur 1 verfügbaren Kern.

Was ist mit 3 anderen Kernen passiert? Schreibt DSE 1 Kern pro Maschine für Cassandra oder andere Operationen?

Danke

Answer 1

Die Anzahl der Kerne in DSE Spark ist voreingestellt auf (0,7 * total_number_of_cores). In Ihrem Fall würde dies zu 1.4 führen, das auf einen einzelnen Kern abgerundet wird. Sie können Ihren Anteil bearbeite

/etc/dse/dse.yaml 

or 

install_location/resources/dse/conf/dse.yaml 

und Einstellen

initial_spark_worker_resources: .7 

Die Dokumentation unten geht auch ins Detail ändern, wie Sie Ihre Spark-Einstellungen ändern. Es ist jedoch wichtig zu beachten, dass, wenn alle Kerne Ihres Computers Spark zugewiesen werden, Ihr System den Kontextwechsel beendet und die Leistung beeinträchtigt.

https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/spark/sparkConf.html#sparkConf__sparkCfgMem