Wie erreicht man den Echtzeit-Datenfluss von Oracle DB zu BigQuery?

Question

Oracle DB ist unsere Transaktions-DB, und nur wenige Tabellen sind identifiziert, die eine Quelle für Berichte enthält, die nach BigQuery migriert werden. Da Oracle unsere transaktionale Datenbank ist, werden neue Datensätze einfließen, und wir müssen diese geänderten Daten in BigQuery übertragen.

Ich lese auch Google Cloud Pub/Sub kann Daten aus jeder Datenbank lesen und Cloud Dataflow kann Daten bereinigen, vorbereiten und filtern, bevor sie in BigQuery geschrieben werden.

Wie kann ich geänderte Daten von Oracle erfassen und in nahezu Echtzeit in BigQuery übertragen?

Answer 1

ich zu diesem Artikel neulich gestolpert, Sie finden es relevant: https://wecode.wepay.com/posts/bigquery-wepay