Wenn Popen.communicate() nicht genug ist?

Question

Ich habe viele Themen gefunden, die mehr oder weniger mit diesem Thema zu tun haben und immer noch fast nichts wie vollständige Antwort ... Ich bin auf der Suche nach Ihrem Rat darauf.

Also, hier ist mein Problem: Ich muss wirklich mit einem Subprozess auf beide Arten kommunizieren: Ich muss eine Menge Daten zu seinem Eingang schreiben und seine Ausgabe im laufenden Betrieb erhalten. Es gibt keinen Weg darum herum. Mein Subprozess ist ein berühmter 'lahmer' MP3-Encoder, der Input ist ein PCM-Sound von einer Stunde oder mehr, der von meiner Funktion erzeugt wird. Die Ausgabe ist die MP3-Datei, die auch Chunk für Chunk gesendet werden muss, ohne auf den Encoder zu warten.

Laut der Dokumentation wird Popen.communicate() mir nicht helfen, IPC in Dutzenden oder Hunderten von Megabyte zu verarbeiten. Zur gleichen Zeit, wie ich von hier gelernt habe, ist es sehr gefährlich zu versuchen, diesen Ansatz von Grund auf neu zu erstellen, da viele Fallstricke warten: Deadlocks, Pufferung, Prozessmanagement, etc.

Also meine Frage ist: Gibt es eine bekannte Lösung für diese Art von Problem: eine Python-Lib oder ein Codebeispiel, das das Problem wirklich löst? Vielleicht gibt es zumindest einen Artikel oder etwas, das klar die meisten Probleme beschreibt, denen man begegnen kann, wenn man versucht, das selbst zu lösen?

Vielen Dank im Voraus, Ilya.

Answer 1

Der einfachste Weg ist, teilen Sie Ihr eigenes Programm in zwei: eine, die an LAME schreibt und die andere, die liest von lame und schreibt an den Benutzer. Dies ist viel einfacher als bidirektionale Kommunikation.

Wenn das nicht für Sie funktioniert, habe ich die Entwicklung mit Named Pipes viel einfacher als herkömmliche Pipe IPC gefunden. Es ist einfach, verschiedene Arten von Rohrleitungen während des Testens zu verwenden. Nonblocking I/O in Python 3 sollte den Zugriff darauf erleichtern.