apache-beam

1Hitze

1Antwort

Dataflow-Prozess hat sich bei Ausfall nicht wiederhergestellt

Nach den jüngsten Vorfällen, bei denen eine ganze AZ durch einen Ausfall verloren gegangen wäre, würde ich gerne die Dataflow-Failover-Prozeduren besser verstehen. Beim manuellen Löschen der Worker-Kn

0Hitze

2Antwort

Gibt es eine gute Möglichkeit, Mocks als Eingaben für Dataflow-Tests zu verwenden?

Ich versuche eine DoFn<KV<String, twitter4j.Status>, String> Implementierung zu testen und Testdaten als Eingabe bereitzustellen. Eine Möglichkeit, die ich untersuchte, war die Verwendung eines Objekt

2Hitze

2Antwort

Verwenden Sie Apache Beam als Abhängigkeit

Ich versuche, Apache Beam entweder als Maven oder Gradle Abhängigkeit zu verwenden. Wie ich weiß, ist das Projekt als eine weiterentwickelte Version von Google Dataflow SDK geplant. Also könnte ich ei

1Hitze

1Antwort

Datenflussanzeige Daten fehlen in Composite-Transformation

Ich versuche die neue Funktion display data in Dataflow, um zusätzliche Details in der Google Cloud Dataflow-Benutzeroberfläche anzuzeigen. Die Anzeigedaten für benutzerdefinierte PTransform werden je

10Hitze

1Antwort

So kombinieren Sie Streaming-Daten mit großen Verlaufsdaten in Dataflow/Beam

Ich untersuche Verarbeitungsprotokolle von Web-Benutzersitzungen über Google Dataflow/Apache Beam und müssen die Protokolle des Benutzers so kombinieren, wie sie kommen (Streaming) mit der Geschichte

0Hitze

1Antwort

So erstellen Sie ein personalisiertes WindowFn in Google Datenfluss

Ich möchte eine andere WindowFn in einer solchen Weise erstellen, um Windows zu einem meiner Eingabeelemente basierend auf einem anderen Feld statt basierend auf dem Zeitstempel meines Eingabeeintrags