Effizienz der Verwendung von Subprozess in Verbindung mit Threads, in Python

Question

Ich benutze Python 2.7. Ich habe ein Multithread-Programm, wo die Threads Befehle mit dem Modul subprocess starten. Die Prozesse werden auf dem System ausgeführt und melden gelegentlich Daten an die Threads. Der Großteil der Arbeit wird in den Prozessen erledigt - die Threads nehmen nur Informationen aus den Prozessen und schreiben sie zum Beispiel in eine Datei.

Ich verstehe, dass es Einschränkungen bei der Verwendung von Multithreading mit Python gibt. Aber in diesem Fall erwarte ich, dass das ganze Heavy Lifting vom System (Linux) ausgeführt wird, weil die gestarteten Subprozesse CPU-intensive Sachen machen. Die Fäden müssen also keine Last tragen und sollten daher kein Flaschenhals sein.

Ist mein Verständnis der Verwendung von Threads und Teilprozesse in Python genau? Ich denke, ein grundlegender Teil meines Verständnisses ist, dass diese verschiedenen Teilprozesse auf verschiedenen Kernen laufen können. Selbst wenn die Threads an einen Kern gebunden sind, werden die Prozesse effizient ausgeführt, und die Threads können Informationen von ihnen sammeln, sobald sie verfügbar sind.

Answer 1

Warum haben die Subprozesse nicht nur die Datenverarbeitung selbst übernommen? Das Zurückgeben von Daten an den Prozess erfordert extra context switches und den Overhead von Serialisierung und Deserialisierung, was signifikant werden kann, wenn Sie viel Arbeit haben, um zum Hauptprozess zurückzukehren. Es könnte einfacher sein, Threads in den Subprozessen zu verwenden, als diese Strafe zu bezahlen.

Es gibt jedoch etwas Wichtiges zu beachten. Obwohl I/O-gebundener Code (Datei schreibt, Daten auf einem Socket senden und empfangen usw.) keine Engpässe mit der Global Interpreter-Sperre verursacht, werden CPU-gebundene Tasks. Weitere Informationen zu Threading-Problemen finden Sie unter Jesse Noller's blog post on threads und the Python Wiki's article on the GIL.