Logstash Elasticsearch Kompression

Question

Ich habe einen funktionierenden ELK-Stack und möchte die Indexkomprimierung aktivieren.

Die offizielle store compression documentation sagt mir, dass ich es bei der Indexerstellung tun muss.

ich nicht alles im Zusammenhang mit Speicherkompressions finden konnte, oder auch Index-Einstellungen im Zusammenhang mit logstash output documentation

Unten ist meine logstash Ausgangskonfiguration:

output { 
    elasticsearch { 
    hosts => [ "localhost:9200" ] 
    sniffing => true 
    manage_template => false 
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" 
    document_type => "%{[@metadata][type]}" 
    } 
} 

Und die erstellten Index-Einstellungen:

{ 
    "filebeat-2016.04.28": { 
    "settings": { 
     "index": { 
     "creation_date": "1461915752875", 
     "uuid": "co8bvXI7RFKFwB7oJqs8cA", 
     "number_of_replicas": "1", 
     "number_of_shards": "5", 
     "version": { 
      "created": "2030199" 
     } 
     } 
    } 
    } 
} 

Answer 1

Sie müssen eine eigene Indexvorlagendatei bereitstellen, um die Indexkomprimierung zu aktivieren.

So müssen Sie Ihre filebeat-template.json Datei so erstellen. Diese Datei wird von logstash verwendet, wenn ein neuer Dateibeat-Index erstellt wird.

output { 
    elasticsearch { 
    hosts => [ "localhost:9200" ] 
    sniffing => true 
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" 
    document_type => "%{[@metadata][type]}" 
    template_name => "filebeat-template" 
    template => "/path/to/filebeat-template.json" 
    } 
} 

Dann können Sie Ihre vorhandenen filebeat-2016.04.28 Index und Relaunch logstash löschen:

{ 
    "template" : "filebeat-*", 
    "settings" : { 
    "index.codec" : "best_compression" 
    } 
} 

Dann wird Ihr elasticsearch Ausgabe sollte wie folgt geändert werden. Letzterer erstellt einen index template namens /_template/filebeat-template, der immer dann eintrifft, wenn ES einen neuen Index erstellen muss, dessen Name mit filebeat- beginnt und die Einstellungen (darunter die Speicherkomprimierung) in der Vorlage anwendet.