Ist es möglich, einen Spark Executor nach einem Absturz neu zu starten? Ich verstehe, dass die fehlgeschlagenen Aufgaben in den vorhandenen funktionierenden Spark-Executoren erneut ausgeführt werden, aber ich hoffe, dass es einen Weg gibt, den abgestürzten Spark-Executor neu zu starten.Wie startet man einen Spark-Executor neu, nachdem er abgestürzt ist (im YARN-Client-Modus)?
I pyspark 1.6 auf GARN leite, im Client-Modus
Nein, es ist nicht möglich. Spark kümmert sich darum und wenn ein Testamentsvollstrecker stirbt, wird er ein neues anfordern, wenn er das nächste Mal nach "Ressourcencontainern" für Testamentsvollstrecker fragt.
Wenn der Executor in der Nähe der zu verarbeitenden Daten war, fragt Spark nach einem neuen Executor nach den Lokalitätspräferenzen der Task (s) und der Host, an dem der Executor gestorben ist, wird wieder verwendet .
Ein Executor ist ein JVM-Prozess, der Threads für Aufgaben hervorbringt und ehrlich gesagt nicht viel tut. Wenn Sie sich mit den Datenblöcken befassen, sollten Sie den externen Shuffle-Dienst von Spark in Erwägung ziehen.
Betrachten Sie das Dokument Job Scheduling in der offiziellen Dokumentation.
Manchmal sind alle meine Spark-Executoren abgestürzt und Spark hat gerade gehängt. Gibt es eine Möglichkeit, aus dem aufgehängten Zustand herauszukommen, indem man eine Ausnahme ausstellt oder aufhebt? – Michael
Interessant. Habe es noch nie gehört/gesehen. Ich würde mich freuen, Logs aus einer solchen Situation zu sehen. –
Ok, ich werde eine weitere Frage Diskussion darüber erstellen, danke. – Michael