Verwenden Sie dieselbe EC2-Instanz für alle AWS Data Pipeline-Aktivitäten.

Question

Ich verwende AWS Data Pipeline, um einige CSV-Daten von S3 nach Redshift zu importieren. Ich habe auch eine ShellCommandActivity hinzugefügt, um alle S3-Dateien nach Abschluss der Kopieraktivität zu entfernen. Ich habe ein Bild mit dem ganzen Prozess verbunden.

Alles funktioniert gut, aber jede Aktivität beginnt es eigene EC2-Instanz ist. Ist es möglich, dass die ShellCommandActivity dieselbe EC2-Instanz wie die RedshiftCopyActivity wiederverwendet, nachdem der Kopierbefehl abgeschlossen wurde?

Vielen Dank!

Answer 1

Damit die ShellCommandActivity auf derselben EC2-Instanz ausgeführt werden kann, habe ich meine ShellCommandActivity mit Architect bearbeitet und für die Option Runs on Ec2Instance ausgewählt. Die ShellCommandActivity wird automatisch der gleichen EC2Instance wie die RedshiftCopyActivity zugeordnet. Nun ist die ganze Prozess sieht wie folgt aus:

Thank you!

Answer 2

Sofern Sie nicht alle Aktivitäten in Shell oder CLI ausführen können, ist es nicht möglich, alles in derselben Instanz auszuführen.

Ein Vorschlag, den ich geben kann, ist, zu neuen Technologien weiterzugehen. AWS Data Pipeline ist veraltet (4 Jahre alt). Sie sollten AWS Lambda verwenden, was Ihnen einen Bruchteil dessen kostet, was Sie bezahlen, und Sie können die Dateien in Redshift laden, sobald die Dateien in S3 hochgeladen werden. Die Bereinigung erfolgt automatisch und Lambda ist viel leistungsfähiger als die AWS Data Pipeline. Das Tutorial A Zero-Administration Amazon Redshift Database Loader ist das gewünschte. Ja, es gibt eine Lernkurve, aber wie der Titel andeutet, ist es keine administrative Belastung.