Twisted, wie kann ProcessProtocol stdout ohne Pufferung erhalten?

Question

Ich verwende einen externen Prozess, der eine kurze Ausgabezeile für jeden verarbeiteten Datenblock schreibt. Ich möchte nach jeder dieser Zeilen ohne zusätzliche Verzögerung reagieren. Allerdings scheint .outReceived() von ProcessProtocol gepuffert zu sein. Docs Zustand:

.outReceived (Daten): Diese wird mit Daten aufgerufen, die von dem Prozess stdout Rohr empfangen wurde. Pipes neigen dazu, Daten in größeren Chunks als Sockets (1 Kilobyte ist eine gemeinsame Puffergröße), so dass Sie Mai nicht das "zufällige Dribs and Drabs" Verhalten typisch von Netzwerk-Sockets zu liefern, aber unabhängig davon sollten Sie vorbereitet sein Deal, wenn Sie nicht alle Ihre Daten in einem einzigen Anruf erhalten. Um es richtig zu machen, outReceived sollte einfach die Daten akkumulieren und alles damit zu verschieben, bis der Prozess abgeschlossen ist.

Das Ergebnis ist, dass ich in einem Stück nach der gesamten Verarbeitung ausgegeben wird. Wie kann ich ProcessProtocol zwingen, stdout nicht zu puffern?

Answer 1

Ich verwende externen Prozess, der kurze Zeile der Ausgabe für jeden Teil der verarbeiteten Daten schreibt. Ich möchte nach jeder dieser Zeilen ohne zusätzliche Verzögerung reagieren.

Das Ergebnis ist, dass ich in einem Stück ausgegeben werde, nachdem die gesamte Verarbeitung abgeschlossen ist. Wie kann ich ProcessProtocol zwingen, stdout nicht zu puffern?

Die Pufferung findet im Herstellerprozess statt, nicht beim Verbraucher. Die Standard-C-Bibliothek stdout wird nur an der Leitung gepuffert, wenn sie an ein Terminal angeschlossen ist, andernfalls ist sie vollständig gepuffert. Dies führt dazu, dass der Producer-Prozess Daten in großen Blöcken anstatt Zeile für Zeile ausgibt, wenn er nicht mit einem Terminal verbunden ist.

Verwenden Sie das Dienstprogramm stdbuf, um den Producer-Prozess stdout zu erzwingen, damit er zwischengespeichert wird.

Wenn der Producer-Prozess ein Python-Skript ist, verwenden Sie den Python-Interpreter-Schalter -u, um die Pufferung der Standard-Streams vollständig zu deaktivieren. stdbuf Dienstprogramm ist jedoch besser.