amazon-data-pipeline

0Hitze

1Antwort

Wie rufe ich eine gespeicherte Prozedur in SQL Server mit Datenpipeline in ShellCommandActivity (AWS-Datenpipeline)

Ich weiß, dass Sie eine MySQL-Prozedur mit dem folgenden Skript aufrufen können, aber ist das gleiche für SQL Server möglich? Ich habe SQL Server Express und muss eine Prozedur einrichten, die täglich

1Hitze

1Antwort

Was ist die Logik von mindestens 15 Minuten Intervall in AWS DataPipeline Scheduling?

Ich wurde kürzlich gebeten, einen Mechanismus zu erstellen, um Daten aus unserem RDS-MySQL in nahezu Echtzeit, d. H. Innerhalb von 5 Sekunden, zu erhalten. bis 5min. Nachdem ich Lambda, Flydata und Da

2Hitze

1Antwort

Planung von AWS-Datenpipelines mit Ausdrücken und Datumsfunktionen

Ich möchte einen AWS-Datenpipeline-Job stündlich planen. Ich würde gerne stündlich Partition auf S3 erstellen. Etwas wie: s3://my-bucket/2016/07/19/09/ s3://my-bucket/2016/07/19/10/ s3://my-bucket/2

1Hitze

2Antwort

Konvertieren von CSV in das erforderliche Format für den Import in DynamoDB mit AWS Datapipeline

Die AWS-Dokumentation importiert Daten aus S3 in eine Dynamo-DB-Tabelle mit Datenpipeline (https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html) Verweise auf e

0Hitze

1Antwort

Wie wird auf den Namen der Amazon Data Pipeline verwiesen?

Ist es möglich, den Namen einer Amazon Data Pipeline als Variable in der Datenpipeline zu verwenden? Wenn ja, wie kannst du das tun?

3Hitze

1Antwort

Abflachung der JSON-Datei beim Übertragen von S3 nach RedShift mit AWS Pipeline

Ich habe eine json-Datei auf S3, ich möchte sie auf Redshift übertragen. Ein Haken ist, dass die Datei enthält Einträge in einem solchen Format: { "user_id":1, "metadata": { "

1Hitze

2Antwort

Wie füge ich Python Funken Schritt in EMR hinzu?

Ich versuche eine AWS Datapipeline-Aufgabe zu erstellen, die einen EMR-Cluster erstellt und ein einfaches Wordcount.py-Spark-Programm ausführt. Ich benutzte die datapipeline Definition, wo Schritte is

0Hitze

1Antwort

aws dataspipeline s3 zu mysql Fehler

Ich versuche, um 40gb Datei (aufgeteilt auf 520 Teile je rund 90MB) auf S3 in mysql. Ich habe aws Datenpipeline S3 zu MySQL erstellt. Vor dem Laden habe ich diese Datensätze in Hive verarbeitet und da

0Hitze

1Antwort

Task-Läufer läuft nicht auf meinem lokalen Rechner

Ich betreiben Aufgabe Läufer die definierte Aufgabe auszuführen, während es läuft Ausnahme telling ist immer die Log-Dateien zu s3 nicht hochladen kann. Nach dem Debuggen der Task Runner-Anwendung hab

0Hitze

1Antwort

SCHNELL exportieren eine Dynamo-DB-Tabelle zu S3

So möchte ich eine gesamte DynamoDB-Tabelle zu S3 dump. Diese tutorial gibt eine gute Erklärung, wie dies zu tun ist. Gab es einen Test, es hat funktioniert ... toll Aber jetzt möchte ich es auf meine