Kafka-Server enthält Nachrichten, aber Verbraucher kann keine empfangen (Hersteller verwendet compression.type = snappy)

Question

Ich bin ein Neuling in Kafka. Wenn Sie Kafka 0.9.0 verwenden, kann ich einen Codec festlegen, indem Sie die compression.type Eigenschaft meines Kafka-Produzenten.

Angenommen, ich snappy Kompression in meinem Produzenten, wenn die Nachrichten von kafka mit einigen kafka-consumer raubend, sollte ich etwas zu dekodieren tun die Daten von bissig oder ist es eine integrierte Funktion von kafka Verbraucher?

Im Office-Dokument konnte ich keine Eigenschaft finden, die sich auf Kodierung in Kafka Consumer bezieht (bezieht sich nur auf den Hersteller).

Kann jemand das klären?

Answer 1

As mentioned in their wiki Page,there is no need for any decompression logic on the Consumer side:

einen Blick auf ihre Wiki-Seite unten haben Bitte:

https://cwiki.apache.org/confluence/display/KAFKA/Compression

Die von einem Verbraucher für ein Thema empfangenen Daten sowohl komprimierte als auch nicht komprimierte Nachrichten enthalten könnten. Der consumer Iterator transparentlydecompresses compressed Daten und gibt nur eine uncompressed message zurück.