Wiedergabe von Ereignissen mit Google Pub/Sub

Question

Ich bin in Google Cloud, es ist sehr ansprechend, speziell für datenintensive Anwendungen. Ich untersuche Pub/Sub + Dataflow und versuche herauszufinden, wie Ereignisse, die über Pub/Sub gesendet wurden, am besten wiedergegeben werden können, falls sich die Verarbeitungslogik ändert.

Soweit ich sagen kann, hat Pub/Sub Retention eine obere Grenze von 7 Tagen und es ist pro Abonnement, das Thema selbst behält keine Daten. Meiner Meinung nach würde es die Log-Komprimierung wie in Kafka deaktivieren, sodass ich Daten von Anfang an wiedergeben kann.

Jetzt, da Dataflow verspricht, dass Sie dieselben Jobs im Batch- und Streaming-Modus ausführen können, wie effektiv wäre es, dieses gewünschte Verhalten zu simulieren, indem Sie alle Ereignisse in Google Storage ablegen und von dort aus antworten?

Ich bin auch für andere Ideen offen.

Danke

Answer 1

Wie Sie sagten, ist Cloud-Pub/Sub derzeit nicht Replays unterstützen, so müssen Sie Ereignisse später und Cloud Storage klingt wie ein guter Platz zu wiederholen irgendwo speichern, das zu tun.