Wie bezieht sich spark.python.worker.memory auf spark.executor.memory?

Question

This diagram ist ziemlich klar über die Beziehung zwischen den verschiedenen YARN und Spark Speicher Einstellungen, außer wenn es zu spark.python.worker.memory kommt.

Wie passt spark.python.worker.memory in dieses Speichermodell?

Werden die Python-Prozesse von spark.executor.memory oder yarn.nodemanager.resource.memory-mb gesteuert?

aktualisiert

This question erklärt, was die Einstellung tut, aber die Frage nach dem Speicher Governance nicht antwortet, oder wie sie sich auf andere Speichereinstellungen.

Answer 1

Found this thread aus der Apache-Spark Mailing-Liste, und es scheint, dass spark.python.worker.memory ist eine Teilmenge des Speichers von spark.executor.memory.

Vom Faden:

"spark.python.worker.memory ist für Python Arbeiter in Testamentsvollstrecker verwendet"