So erhalten Sie das CPU-Nutzungsprofil einer Garn-basierten Spark-Anwendung

Question

Ich verwende eine Apache Spark-Anwendung mit Garn auf einem Hadoop-Cluster. Nachdem das Programm beendet ist, gibt es eine Möglichkeit, das Profil der CPU-Auslastung dieses Programms zu überprüfen. Grundsätzlich möchte ich ein Profiling-Protokoll in Abständen von etwa 1 oder 2 Sekunden.

Answer 1

können Sie die Resourcemanager Rest API? S verwenden

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_API

Grundsätzlich benötigen Sie einen REST-Client zu implementieren, die ResourManager jeweils 1 bis 2 Sekunden abfragen und Ihre eigenen Protokolle zur Laufzeit erstellen.