Wie kann ich Daten von Amazon S3 automatisch in die Rotverschiebung kopieren?

Question

Zuerst möchte ich Sie wissen lassen, wie ich gerade fertig bin.

Ich behalte Daten manuell von S3 zu redshift, d. H. Mit Kopierbefehl in SQL Workbench. Und manchmal führe ich diesen Befehl über die JDBC-Option aus.

Ich denke, das ist nicht die richtige Option, um Daten zu kopieren. Es kann eine gute Lösung zum Kopieren geben. Ich möchte Daten automatisch kopieren, wenn neue Daten in S3 eingehen. Jede Lösung würde sehr geschätzt werden.

Vielen Dank.

Answer 1

Ich würde mit Lambda arbeiten.

1. Sie lamdba auslösen können, wenn neues Objekt S3 eingeführt werden (see doc)

2. je nachdem, wie viele Daten Sie von S3 kopieren müssen werden, ist es vorzuziehen sein könnte, die Arbeit, so dass die aggregieren Arbeit wird

AWS code from labs veröffentlicht schneller sein, dass die Daten aus dem S3 Eimer lädt zu Rotverschiebung.

This blog from amazon dauert eine Menge des Dokuments aus dem Github-Projekt, um zu sehen, wie es in die Praxis umgesetzt wird.

Answer 2

Der Lambda-Ansatz scheint ziemlich gut und gut ausgetreten. Als Alternative können Sie auch AWS Glue in Betracht ziehen. Es ist nicht schrecklich einfach zu konfigurieren, aber es scheint gebaut, um diese Art von Workflow zu bewältigen.