LZ4 Dekomprimieren binärer Speicherblock unbekannter Größe

Question

Ich versuche, einen Speicherblock zu dekomprimieren, aber ich weiß nicht, dass es original unkomprimierte Größe ist, aber ich kenne die maximale Größe, die dieser ursprüngliche Speicherblock jemals sein könnte.

Gibt es eine Möglichkeit, mit LZ4 zu dekomprimieren, ohne die ursprüngliche unkomprimierte Größe zu kennen?

Short-Story-Long: Ich bin eine Reihe von Variablen in einem Stringstream Serialisierung mit einem Drittanbieter-Bibliothek namens Cereal. Cereal serialisiert Ihre Daten in einem Stringstream unter Verwendung eines 'portable binary formats', was bedeutet, dass die Endianness bei der Deserialisierung beibehalten und sogar zu der der Host-Maschinen konvertiert wird. Der Stringstream wird dann unter Verwendung von LZ4 komprimiert und an eine entfernte Maschine zur Dekomprimierung und Deserialisierung übertragen.

Mein Problem ist, dass LZ4 einen Speicherblock komprimierter Daten und eine Ganzzahl ausgeben wird, die die Größe der komprimierten Daten angibt. Zum Entpacken benötigen Sie die komprimierte Größe und Originalgröße und ich sende nur den komprimierten Datenblock an die Remote-Maschinen.

SO, gibt es eine Möglichkeit, einen Datenblock mit LZ4 zu dekomprimieren, ohne zu wissen, dass es original komprimierte Größe ist? Im Wesentlichen 'Start Dekompression, wenn Sie keine Daten fertig sind'

Answer 1

Die Funktion LZ4_decompress_safe (siehe https://github.com/Cyan4973/lz4/blob/master/lib/lz4.c#L1288) scheint nur die maximale dekomprimierte Größe erfordern. In diesem Fall können Sie einen Puffer reservieren, der groß genug für die Dekomprimierung ist und ihn verwenden.

Also entweder, oder übertragen Sie die ursprüngliche unkomprimierte Größe auf die Remote-Maschinen.

EDIT: In Ihrem Fall können Sie auch LZ4 Streaming-Dekomprimierung verwenden, siehe this code sample für weitere Informationen.