Wie kann fprintf in Linux blockieren?

Question

Ich habe einen fprintf Anruf, der für unangemessene 10 Sekunden blockiert, wenn das System IO beschäftigt ist, aber immer noch viel CPU hat. Ich weder setvbuf des zugrunde liegenden Stream noch öffnete die zugrunde liegende FD mit O_DIRECT. Dies bedeutet, dass der Stream sowohl den Status-Stream als auch den System-Cache hat.

Ich kann nicht sagen, wie ein fprintf Anruf für so lange Zeit blockiert werden kann. Für den schlechtesten Fall, in dem der Strompuffer des zugrundeliegenden Streams voll ist, denke ich, dass die libc einfach write(2) aufruft, um den Pufferinhalt auf Platte zu schreiben. Aber nach meinem Wissen wird write(2) auf einem FD, das nicht mit O_DIRECT geöffnet ist, nicht auf die Plattenübertragung warten, d. H. Es ist asynchron zu Platten-IO. Die einzige zeitraubende Arbeit, die ich mir vorstellen kann, ist der Kernel, der den Cache für die geschriebenen Daten reserviert, aber das scheint keine 10-Sekunden-Arbeit zu sein, selbst wenn das System zu wenig Speicher hat. Tatsächlich verfügt das System über zehn MB freien Arbeitsspeicher und mehrere GB Arbeitsspeicher im Cache.

Gibt es einen Ratschlag?

Danke.

Answer 1

Haben Sie Ihren Code auf mehr als einer Maschine ausgeführt? Wenn ja, ist das Verhalten das gleiche?

Wenn nicht, nach Festplattenzugriffsfehlern in Ihrem Systemprotokoll suchen, sobald ich ein ähnliches Problem hatte und der Grund war eine fehlerhafte Festplatte.

Answer 2

Ein Schreibaufruf ist nicht asynchron, dh der Systemaufruf muss vom Kernel zurückgegeben werden. Natürlich stellt dieser Systemaufruf hauptsächlich Daten in eine E/A-Warteschlange, die später die eigentliche Übertragung durchführen. Ich nehme jedoch an, dass diese I/O-Warteschlange für einige Zeit nicht verfügbar sein kann.

Dies ist unabhängig vom Medium, an das Sie schreiben, solange es ein Block-Gerät ist. Ich habe ein Programm, das Streams von JPEG-Bildern auf eine SD-Karte schreibt. Dieses Programm wird wegen der auf der Festplatte stattfindenden Vorgänge hängen bleiben.

Wenn dies jedoch ein Problem mit der Blockierung des Schreibaufrufs für zehn Sekunden ist, können Sie versuchen, Ihr Programm zu straffen. Ich weiß nicht, wie oder ob sie das Verhalten stören versuchen Sie

strace -T -e trace=write progname 

zu beobachten Wenn Sie Ihre Log-Aktivität überwachen möchten, kann Sie Ihre Log-Schreibvorgang in einem Rohr oder einer benannten Pipe umleiten können, setzen ein Prozess, der im Wesentlichen von dieser Pipe liest und in Ihre Logdatei schreibt und strace.

Answer 3

Sie haben gesagt, Sie haben setvbuf() nicht im Stream aufgerufen, aber welche Art von Pufferung verwendet der Stream? Sofern der von Ihnen verwendete Stream stderr (oder manchmal stdout) ist, wird er standardmäßig blockweise gepuffert, was bedeutet, dass keine Schreibvorgänge stattfinden, bis der Puffer voll ist (normalerweise 4096 Byte oder mehr). Je nachdem, wie häufig Sie Protokolle schreiben, kann dies zu einer Verzögerung von 10 Sekunden führen.

Also ich würde versuchen: setvbuf(my_stream, NULL, _IONBF, 0);

EDIT: ... Oder es ist möglich, dass ich das Wort völlig falsch interpretiert "blockiert". Ich gehe sowieso, nur für den Fall.

Answer 4

Wenn Ihr Prozess große Datenmengen auf die Festplatte schreibt, werden viele schmutzige Seiten im Seitencache erstellt, und write() wird Ihren Prozess schließlich zwingen, für einige dieser Seiten einen synchronen Rückschreibvorgang auszuführen.In dieser Situation kehrt der Kernel nicht zu Ihrem Prozess zurück, bis er eine vernünftige Menge an Daten auf die Festplatte geschrieben hat (10 Sekunden klingen immer noch etwas hoch).