Wie können Sie ein parallelisiertes Python-Skript profilieren?

Question

Angenommen, ich habe ein Python-Skript namens my_parallel_script.py die multiprocessing Verwendung beinhaltet mehrere Dinge parallelisieren und ich führen Sie es mit dem folgenden Befehl:

python -m cProfile my_parallel_script.py 

Dies erzeugt Ausgangs Profilierung für den geordneten Prozess nur. Anrufe in untergeordneten Prozessen werden überhaupt nicht aufgezeichnet. Ist es möglich, auch die Kindprozesse zu profilieren?

Wenn die einzige Möglichkeit ist, die Quelle zu ändern, was wäre der einfachste Weg, dies zu tun?

Answer 1

cProfile funktioniert nur innerhalb eines einzelnen Prozesses, so dass Sie den Kindprozess nicht automatisch profiliert bekommen.

Ich würde empfehlen, dass Sie den untergeordneten Prozesscode optimieren, so dass Sie es separat als einen einzelnen Prozess aufrufen können. Führen Sie es dann unter dem Profiler aus. Wahrscheinlich müssen Sie während der Profilerstellung Ihren System-Multiprozess nicht ausführen, und der Job wird dadurch vereinfacht, dass nur ein einziges Kind ausgeführt wird.