Python Multithreading-/Verarbeitungsmodul für Tasks mit Abhängigkeiten, die eine Sequenzierung erfordern

Question

Ich bin dabei, ein Python-Modul zu implementieren, das einen Thread- (oder Prozess-) Pool zur gleichzeitigen Verarbeitung von Tasks bereitstellt, die potenziell voneinander abhängig sind. Zum Beispiel können Sie im Falle eines Auftragsverwaltungssystems eine Bestellung aufgeben, eine andere Bestellung aufgeben, die zweite Bestellung stornieren, eine dritte Bestellung aufgeben und dann die erste Bestellung stornieren - alle Bestellplatzierungen können gleichzeitig verarbeitet werden. Die Stornierungen können jedoch nicht gleichzeitig mit den jeweiligen Bestellungen erfolgen und müssen nach Abschluss der Bestellung erfolgen. Ich habe eine gute allgemeine Lösung für solche Probleme gefunden und wollte sie als meinen ersten Open-Source-Beitrag verwenden.

Bevor ich zu viel Zeit damit verbracht habe, wollte ich nur wissen, ob so etwas schon existiert. Kennt jemand ein vorhandenes Python-Paket, das dies tut? Wäre das für jemanden nützlich?

Answer 1

Ja, werfen Sie einen Blick auf dask. Es verfügt über verschiedene Scheduler für Multithread-, Multiprocessing- und Distributed Computing, die Threads und Prozesse über TaskPool bzw. Pool wiederverwenden. Sie können beliebige Aufgabenabhängigkeiten (direkte azyklische Grafiken - DAGs) damit erstellen. Ich bin mir zwar nicht sicher über die Unterstützung von Stornierungen, aber Sie können es manuell in Ihre Aufgaben implementieren.