Ich möchte Daten aus einer Cassandra-Tabelle streamen, die in Echtzeit aktualisiert wird. Ja, es ist eine Datenbank, aber gibt es eine Möglichkeit, das zu tun? Wenn ja, kann ich einen Offset beibehalten oder welche CQL-Abfragen kann ich verwenden?Wie streamen Daten aus einer Cassandra-Tabelle?
Kurze Antwort ist nein.
Lange Antwort ist mit vielen Schwierigkeiten und Smart-Clustering-Schlüssel, die Sie vielleicht tun können. Wenn Sie Daten mit einem Clusterschlüssel eingeben, der immer größer wird, können Sie in einer kürzlichen Zeitlücke immer nur nach Clusterschlüsseln suchen. Dies wird natürlich Out-of-Order-Einsätze außerhalb Ihres Fensters vermissen. Dies kann oder kann nicht gut genug für Ihren Anwendungsfall sein.
beste Antwort in der Zukunft ist Change Data Capture: https://issues.apache.org/jira/browse/CASSANDRA-8844
Vielleicht auch Auslöser? –
@RussS Danke für den Link gute Information –
Hat jemand eine Idee, wie Spark-Cassandra-Connector in diesem verwendet werden kann? kümmert es sich allein um den Offset und streamt es Daten nahezu in Echtzeit? –
Hat jemand eine Idee haben, wie Funken cassandra-Anschluss kann in diese eingesetzt werden? kümmert es sich allein um den Offset und streamt es Daten nahezu in Echtzeit? –