Speicher Zugeordnete Dateien und atomare Schreibvorgänge von einzelnen Blöcken

Question

Wenn ich eine einzelne Datei mit normalen IO-APIs lese und schreibe, ist garantiert, dass Schreibvorgänge pro Block blockweise sind. Das heißt, wenn mein Schreibvorgang nur einen einzigen Block ändert, garantiert das Betriebssystem, dass entweder der gesamte Block geschrieben wird oder gar nichts.

Wie erreiche ich den gleichen Effekt für eine Memory-Mapped-Datei?

Memory-Mapped-Dateien sind einfach Byte-Arrays, also wenn ich das Byte-Array modifiziere, kann das Betriebssystem nicht wissen, wann ich einen Schreibvorgang für erledigt halte, also könnte es (auch wenn das unwahrscheinlich ist) Speicher gerade in der Mitte meines Blockschreibens, und in der Tat schreibe ich einen halben Block.

Ich würde eine Art von "Enter/Leave kritischen Abschnitt" oder eine Methode zum "Pinnen" der Seite einer Datei in den Speicher benötigen, während ich schreibe. Gibt es so etwas? Wenn ja, ist das portable über gemeinsame POSIX-Systeme & Windows?

Answer 1

Die Technik des Haltens journal scheint der einzige Weg zu sein. Ich weiß nicht, wie das funktioniert, wenn mehrere Apps in dieselbe Datei schreiben. Das Cassandra-Projekt hat eine good article, um Leistung mit einem Journal zu erhalten. Die wichtigste Sache ist, sicherzustellen, ist, dass das Journal nur Aufzeichnungen positive Aktionen (mein erster Ansatz war das Vor-Bild von jedem schreiben in das Journal, so dass Sie Rollback, aber es wurde übermäßig kompliziert) schreiben.

Also im Grunde Ihre Memory-Mapped-Datei hat eine transactionId in der Kopfzeile, wenn Ihre Kopfzeile in einen Block passt Sie wissen, es wird nicht beschädigt, obwohl viele Leute scheinen es zweimal mit einer Prüfsumme schreiben: [header[cksum]] [header[cksum]]. Wenn die erste Prüfsumme fehlschlägt, verwenden Sie die zweite.

Die Zeitschrift sieht ungefähr wie folgt aus:

[beginTxn[txnid]] [offset, length, data...] [commitTxn[txnid]] 

Sie halten nur Journaldatensätze anhängen, bis er zu groß wird, dann rollen sie irgendwann vorbei. Wenn Sie Ihr Programm starten, prüfen Sie, ob die Transaktions-ID für die Datei die letzte Transaktions-ID des Journals ist - falls nicht, geben Sie alle Transaktionen im Journal zur Synchronisierung ein.