Logstash JSON Filter Quelle

Ich kann nicht das Nachrichtenfeld von meiner JSON-Log-Zeile zu dekodieren, wenn über Filebeat empfangen. HierLogstash JSON Filter Quelle

ist die Linie in meinen Logs:

{"levelname": "WARNING", "asctime": "2016-07-01 18:06:37", "message": "One or more gateways are offline", "name": "ep.management.commands.import", "funcName": "check_gateway_online", "lineno": 103, "process": 44551, "processName": "MainProcess", "thread": 140735198597120, "threadName": "MainThread", "server": "default"}

Hier die logstash Konfig. Ich habe es mit und ohne codec versucht. Der einzige Unterschied besteht darin, dass die Nachricht beim Verwenden des Codecs mit Escapezeichen versehen wird. Hier

input { 
    beats { 
    port => 5044 
    codec => "json" 
    } 
} 

filter { 
json{ 
source => "message" 
} 
}

ist die json, wie es in Elasticsearch ankommt:

{ 
    "_index": "filebeat-2016.07.01", 
    "_type": "json", 
    "_id": "AVWnpK519vJkh3Ry-Q9B", 
    "_score": null, 
    "_source": { 
    "@timestamp": "2016-07-01T18:07:13.522Z", 
    "beat": { 
     "hostname": "59b378d40b2e", 
     "name": "59b378d40b2e" 
    }, 
    "count": 1, 
    "fields": null, 
    "input_type": "log", 
    "message": "{\"levelname\": \"WARNING\", \"asctime\": \"2016-07-01 18:07:12\", \"message\": \"One or more gateways are offline on server default\", \"name\": \"ep.controllers.secure_client\", \"funcName\": \"check_gateways_online\", \"lineno\": 80, \"process\": 44675, \"processName\": \"MainProcess\", \"thread\": 140735198597120, \"threadName\": \"MainThread\"}", 
    "offset": 251189, 
    "source": "/mnt/ep_logs/ep_.json", 
    "type": "json" 
    }, 
    "fields": { 
    "@timestamp": [ 
     1467396433522 
    ] 
    }, 
    "sort": [ 
    1467396433522 
    ] 
}

Was würde Ich mag ist, dass Inhalte aus dem message Objekt decodiert werden.

Vielen Dank

Quelle

2016-07-01 Dan Schien

Sind Sie sicher, dass Ihre Dateibeats-Instanz Dokumente nicht direkt an ES sendet? Wie sieht Ihre Dateibeats-Konfiguration aus? Haben Sie einen Elasticsearch-Ausgang in Ihrer Filebeat-Konfigurationsdatei aktiviert? – Val

Sie sind ein Genie. Wie konntest du das gewusst haben? Danke vielmals. Gibt es eine Möglichkeit, die Frage zu schließen? –

Wenn das passiert, ist es in der Regel, weil Ihre Filebeat Instanz konfiguriert ist, Dokumente zu senden direkt an ES.

Vergewissern Sie sich in Ihrer Dateibeat-Konfigurationsdatei, dass Sie den Ausgang elasticsearch auskommentieren.

Quelle

2016-07-01 18:37:47 Val

Antwort

Verwandte Themen