Speichern der Fehlermeldung zu Redshift durch Datapipeline

Question

Ich versuche, eine SQL-Aktivität in Redshift-Cluster durch Datenpipeline auszuführen. Nach der SQL-Aktivität müssen wenige Protokolle in Rotverschiebung in eine Tabelle geschrieben werden [z. B. Anzahl der betroffenen Zeilen, die Fehlermeldung (falls vorhanden)].

Voraussetzung: Wenn die SQL-Aktivität erfolgreich abgeschlossen ist, wird die erwähnte Tabelle mit ‚Fehler‘ Spalte als Null geschrieben werden, sonst, wenn die SQL-Aktivität nicht auf Fehler, dass bestimmte Fehlermeldung müssen in aktualisiert werden die Spalte "Fehler" in der Redshift-Tabelle.

Können wir dies durch eine Pipeline erreichen? Wenn ja, wie können wir das erreichen?

Danke, Ravi.

Answer 1

Leider können Sie dies nicht direkt mit SqlActivity in DataPipeline tun. Die Arbeit besteht darin, ein Java-Programm (oder irgendeine ausführbare Datei) zu schreiben, die das tut, was Sie wollen, und es über Datapipeline mit ShellCommandActivity zu planen.