Mein Team versucht Redshift zu verwenden, um Informationen aus verschiedenen Datenbanken zu konsolidieren. Bei unserem ersten Versuch, diese Lösung zu implementieren, haben wir Kinesis Firehose verwendet, um Datensätze von POSTs in unsere APIs zu schreiben, und S3 hat dann einen COPY-Befehl ausgegeben, um die Daten in die richtigen Tabellen in Redshift zu schreiben. Dies erlaubte uns jedoch nur das Einfügen neuer Daten und ließ uns keine Daten transformieren, Zeilen aktualisieren, wenn sie geändert wurden, oder Zeilen löschen.ETL möglich zwischen S3 und Redshift mit Kinesis Firehose?
Was ist der beste Weg, um ein aktualisiertes Data Warehouse in Redshift zu erhalten, ohne Batch-Transformation zu verwenden? Idealerweise möchten wir, dass Aktualisierungen "automatisch" (< 5 Minuten) erfolgen, wenn Daten in unseren lokalen Datenbanken geändert werden.
Toller Rat! Danke für Ihre Hilfe – awsQuestion