Wie wird der Executor-Speicher (und andere Konfigurationen) für Apache Spark Shell geändert?Ändern des Executor-Speichers (und anderer Konfigurationen) für Spark Shell
Insbesondere würde ich gerne flats-shell, wie -Dspark-cores-max = 12 beim Start geben, damit meine Jobs in der Spark-Shell diese Konfigurationseinstellungen verwenden.
Ab Funken 1.2.0 können Sie memory und cores indem sie folgende Argumente auf funken Shell.
spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8
andere Optionen zu sehen, Befehle folgende geben kann Shell
spark-shell --help
DEPRECATED ANGENOMMEN ANTWORT
ein Skript wie folgt schreiben:
#!/bin/bash
export SPARK_JAVA_OPTS="$*"
MASTER=spark://ec2-99-99-99-99:7077 /usr/share/spark/bin/spark-shell
/usr/share/spark/bin/spark-shell sollte der Pfad sein, wo die lange Funken Shell Startskript ist. Auf meinem Cluster gab es ein weiteres Skript in/usr/local/bin/aber dieses war nur ein paar Zeilen ähnlich wie oben und hatte SPARK_JAVA_OPTS fest codiert.
Wie auch immer, zB Verwendung:
my-spark-starter-script -Dspark-cores-max=12 -Dspark.executor.memory=26000m
Wenn Sie die Funken Shell ausführen, verwenden Sie auf Standalone-Modus installiert Funken zu entfachen (1 Knoten)
./bin/spark-shell --driver-memory 4g
Wenn Sie die Spark-Shell-Funktion für den im Cluster installierten Funken (2+ Knoten) ausführen, verwenden Sie
./bin/spark-shell --executor-memory 4g
4 g ist 4 GB.