Ich möchte aus mehreren Knoten Protokolldateien exportieren (in meinem Fall Apache-Zugriff und Fehlerprotokolle) und diese Daten im Stapel als geplanten Job aggregieren. Ich habe mehrere Lösungen gesehen, die mit Streaming-Daten arbeiten (d. H. Denken, Schreiber). Ich möchte ein Werkzeug, das mir die Flexibilität gibt, das Ziel zu definieren. Diese Anforderung kommt von der Tatsache, dass ich HDFS als Ziel verwenden möchte.Gibt es vorhandene Stapelprotokolldatei-Aggregationslösungen?
Ich konnte kein Werkzeug finden, das dies im Batch unterstützt. Bevor ich das Rad neu erstellte, wollte ich die StackOverflow-Community um ihre Eingabe bitten.
Wenn eine Lösung bereits in Python existiert, wäre das noch besser.