Oracle ist meine Transaktions-DB und lud Oracle-Daten zur Analyse in BigQuery ein. Wann immer ein neuer Datensatz in die Oracle-Tabelle eingefügt wird, möchte ich, dass er in die BigQuery-Tabelle eingefügt wird. Wie erreiche ich das? Ist das Streaming von Daten in BigQuery im Zusammenhang mit dem, wonach ich suche? Wenn das so ist, wie?Was bedeutet das Streaming von Daten in BigQuery?
Damit dies funktioniert, benötigen Sie etwas, das die Daten in Ihre OLTP-Datenbank ableitet und es auch an BigQuery-Streaming sendet. Sie könnten alternativ einen periodischen Prozess einrichten, der Daten aus Ihrer OLTP-Datenbank extrahiert und als normale Ladejobs in BigQuery importiert. Das wäre billiger und wahrscheinlich weniger komplex; Der Fehlerwiederherstellungsmodus mit Stapelimport würde darin bestehen, einen fehlgeschlagenen Lade-Batch einfach erneut zu versuchen, während Sie beim Streaming einen Überblick über jeden Datensatz benötigen, der erneut versucht werden muss.
Wer/was sendet diese Zeilen an Oracle? Können Sie den gleichen Prozess verwenden, um die Zeilen auch an BigQuery zu senden? –
Mögliches Duplikat von [Wie wird mit Streaming-Daten in BigQuery gearbeitet?] (Http://stackoverflow.com/questions/38562690/how-to-work-with-streaming-data-into-bigquery) –
@FelipeHoffa - Mein Web Die Datenbank der Anwendung ist Oracle, die Transaktionsdaten speichert. Aber ich kann BigQuery nicht für OLTP verwenden. In diesem Fall glaube ich, dass das Streaming von Daten in BigQuery die richtige Option ist, um ein Echtzeitbeispiel auszuwählen und zu suchen. – Vetri