Apache Flink: Wie werden späte Ereignisse gehandhabt?

Question

Wenn ein Element ankommt, das die Wasserzeichenbedingung verletzt, wie wird das Ereignis behandelt? Ist es weggeworfen? Oder wird das Ereignis weiterhin mit nachfolgenden Fensterfunktionen, die mit dem späten Ereignis neu berechnet wurden, stromabwärts weitergegeben?

Die Dokumentation bestätigt, dass späte Ereignisse auftreten, aber nicht, wie sie behandelt werden. https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/streaming/event_time.html

Answer 1

Ab Flink 1.0 werden späte Elemente behandelt, indem die Fensterfunktion mit einem "Singleton" -Fenster neu bewertet wird, das nur das späte Ereignis enthält.

In zukünftigen Versionen von Flink wird der Benutzer mehr Kontrolle über dieses Verhalten haben. Sehen Sie diesen Thread aus der flink-dev Mailing-Liste:

http://mail-archives.apache.org/mod_mbox/flink-dev/201604.mbox/%3CCANMXwW3_Ew38KyL0q=q70pC03=UD=KaLQ0XmRyTNE77udAsh=w@mail.gmail.com%3E

Answer 2

sind standardmäßig spät Elemente gelöscht, wenn das Wasserzeichen über das Ende des Fensters. Flink erlaubt es jedoch, eine maximale erlaubte Verspätung für Fensteroperatoren anzugeben. Zulässige Verspätung gibt an, um wie viel Uhr Elemente spät sein dürfen, bevor sie gelöscht werden, und der Standardwert ist 0. Elemente, die nach dem Wasserzeichen ankommen, haben das Ende des Fensters überschritten, aber bevor es das Ende des Fensters überschreitet, zuzüglich der zulässigen Verspätung. werden immer noch zum Fenster hinzugefügt. Je nach verwendetem Auslöser kann ein spätes, aber nicht zurückgelassenes Element dazu führen, dass das Fenster erneut ausgelöst wird. Dies ist der Fall für den EventTimeTrigger.

Damit das funktioniert, behält Flink den Zustand von Fenstern bei, bis die erlaubte Verspätung abläuft. Sobald dies passiert, entfernt Flink das Fenster und löscht seinen Status.

Sie können den Lebenszyklus hier überprüfen. https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/windows.html#window-lifecycle