Wie kann ich eine Datei transparent komprimieren/dekomprimieren, während ein Programm in diese schreibt/liest?

Question

Ich habe ein Programm, das sehr große Textdateien liest und schreibt. Wegen des Formats dieser Dateien (sie sind ASCII-Darstellungen von Binärdaten) sind diese Dateien jedoch sehr leicht komprimierbar. Zum Beispiel haben einige dieser Dateien eine Größe von mehr als 10 GB, aber gzip erreicht eine Komprimierung von 95%.

Ich kann das Programm nicht ändern, aber Speicherplatz ist wertvoll, also muss ich einen Weg einrichten, dass es diese Dateien lesen und schreiben kann, während sie transparent komprimiert und dekomprimiert werden.

Das Programm kann nur Dateien lesen und schreiben, so weit ich es verstehe, muss ich eine benannte Pipe für die Eingabe und Ausgabe einrichten. Einige Leute schlagen stattdessen ein komprimiertes Dateisystem vor, was auch so aussieht, als würde es funktionieren. Wie kann ich arbeiten?

Technische Informationen: Ich bin auf einem modernen Linux. Das Programm liest eine separate Eingabe- und Ausgabedatei. Es liest die Eingabedatei der Reihe nach zweimal durch. Es schreibt die Ausgabedatei der Reihe nach.

Answer 1

Auschecken zlibc: http://zlibc.linux.lu/. Auch

, wenn FUSE ist eine Option (das heißt der Kernel ist nicht zu alt), betrachten: compFUSEd http://www.biggerbytes.be/

Answer 2

Named Pipes bieten keine Vollduplex-Operationen, daher wird es ein wenig komplizierter, wenn Sie nur einen Dateinamen angeben müssen.

Wissen Sie, ob Ihre Anwendungen die Datei durchsuchen müssen?

Funktioniert Ihre Anwendung mit stdin, stdout?

Vielleicht eine Lösung, die ein Mini-komprimiertes Dateisystem zu erstellen, das nur ein Verzeichnis mit Ihren Dateien

Da Sie getrennt haben Eingabe- und Ausgabedatei enthält Sie Folgendes tun können: Jetzt

mkfifo readfifo 
mkfifo writefifo 
zcat your inputfile > readfifo & 
gzip writefifo > youroutputfile & 

launch your program ! 

, Sie werden wahrscheinlich Probleme mit dem Lesen zweimal in der Reihenfolge der Eingabe bekommen, denn sobald zcat ist das Lesen der Eingabedatei, wird Ihr Programm ein Signal SIGPIPE erhalten

Die richtige Lösung ist wahrscheinlich, ein komprimiertes Dateisystem zu verwenden wie CompFUSE, denn dann müssen Sie sich nicht um nicht unterstützte Operationen wie Suchvorgänge kümmern.

Answer 3

Welche Sprache spielst Du?

Wenn Sie Java verwenden, sehen Sie sich die GZipInputStream- und GZipOutputStream-Klassen im API-Dokument an.

Wenn Sie C/C++ verwenden, ist zlibc wahrscheinlich der beste Weg.

Answer 4

FUSE Optionen: http://apps.sourceforge.net/mediawiki/fuse/index.php?title=CompressedFileSystems

Answer 5

Btrfs:

https://btrfs.wiki.kernel.org/index.php/Main_Page

bietet Unterstützung für ziemlich schnell "automatische transparente Kompression/Dekompression" in diesen Tagen, und vorhanden ist (obwohl experimentell markiert) in neueren Kernel .