Welches Threading-Modul sollte ich verwenden, um zu verhindern, dass die Festplatten-IO den Netzwerk-IO blockiert?

Question

Ich habe eine Python-Anwendung, die, um kurz zu sein, Daten von einem Remote-Server empfängt, verarbeitet, reagiert auf den Server und speichert gelegentlich die verarbeiteten Daten auf der Festplatte. Das Problem, das ich festgestellt habe, ist, dass es eine Los von Daten zum Schreiben gibt, und der Speichervorgang kann über eine halbe Minute dauern. Dies ist offensichtlich ein Blockiervorgang, so dass das Netzwerk-IO während dieser Zeit angehalten wird. Ich würde gerne in der Lage sein, den Speichervorgang sozusagen im Hintergrund ablaufen zu lassen, damit die Anwendung weiterhin schnell mit dem Server kommunizieren kann.

Ich weiß, dass ich wahrscheinlich eine Art von Threading-Modul benötigen, dies zu erreichen, aber ich kann nicht sagen, was sind die Unterschiede zwischen thread, threading, multiprocessing und die verschiedenen anderen Optionen. Weiß jemand, wonach ich suche?

Answer 1

Da Sie E/A-gebunden sind, verwenden Sie das Modul threading.

Sie sollten fast nie thread verwenden, es ist eine Low-Level-Schnittstelle; Das threading-Modul ist ein High-Level-Interface-Wrapper für thread.

Das Modul multiprocessing unterscheidet sich vom Threading-Modul, multiprocessing verwendet mehrere Unterprozesse zum Ausführen einer Aufgabe; multiprocessing passiert zufällig die gleiche Schnittstelle wie threading, um Lernkurve zu reduzieren. multiprocessing wird normalerweise verwendet, wenn Sie über eine CPU-gebundene Berechnung verfügen und die GIL (Global Interpreter Lock) in einer Multicore-CPU vermeiden müssen.

Eine etwas esoterischere Alternative zu Multithreading ist die asynchrone E/A mit asyncore Modul. Weitere Optionen sind Stackless Python und Twisted.