amazon-data-pipeline

2Hitze

3Antwort

Brauchen Sie strategische Ratschläge für die Migration von großen Tabellen von RDS zu DynamoDB

Wir haben einige RDS-Tabellen, die riesig sind (über 700 GB), die wir in eine DynamoDB-Tabelle migrieren möchten. Können Sie eine Strategie oder eine Richtung vorschlagen, um dies sauber und parallel

0Hitze

1Antwort

ShellCommandActivity in AWS-Datenpipeline

Ich übertrage Dynamo DB-Daten mit Datenpipeline zu S3. Im S3-Bucket bekomme ich das Backup, aber es ist in mehrere Dateien aufgeteilt. Um die Daten in einer einzigen Datei zu erhalten habe ich eine Ak

0Hitze

1Antwort

Interne Fehlermeldung für AWSDataPipeline

Ich aktiviert meine Pipeline, die eine einfache RDS zu S3-Kopieraktivität hat, die auf einer t1.micro-Instanz ausgeführt wird, und es fehlgeschlagen mit der Nachricht "Ressource kann aufgrund eines in

1Hitze

2Antwort

Leerzeichen als NULL in MySQL einfügen

Ich baue eine AWS-Pipeline, um CSV-Dateien von S3 in eine RDS MySQL DB einzufügen. Das TH-Problem, mit dem ich konfrontiert bin, ist, dass wenn es versucht, die Datei zu laden, es Leerzeichen als leer

2Hitze

1Antwort

Importieren von Daten von S3 DynamoDB

Ich versuche, eine JSON-Datei zu importieren, die in S3 in DynamoDB hochgeladen wurde ich das Tutorial amazon gegeben hat http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-

-1Hitze

1Antwort

Sync Daten von RDS MySQL zu Amazon Redshift

Ich versuche, Daten von RDS MySQL zu Amazon Redshift zu synchronisieren. Dazu wurde eine Datenpipeline erstellt, die für die einmalige Ausführung geplant ist. Synchronisierte eine Tabelle dann versuch

1Hitze

1Antwort

AWS Datenpipeline zum Kopieren von CSV von S3 nach RDS MySQL

Ich habe ein Verzeichnis in meinem S3-Bucket, das viele .CSV-Dateien enthält, die alle auf die gleiche Weise formatiert sind (Erstes, Letztes, Ort, Datum). Ich habe versucht, Datenpipeline zu verwende

4Hitze

1Antwort

Amazon Data Pipeline "Laden von S3-Daten in RDS MySQL" Abfrageformat?

Ich frage mich, was das SQL-Query-Format für das Einfügen von Daten aus einer CSV in MySQL wäre. Die Vorlage, die es gibt, ist "INSERT INTO Tabellenname (col1, col2, col3) VALUES (?,?,?);" Da die Wert

0Hitze

2Antwort

Amazon Redshift - Entladen zu S3 - Dynamischer S3 Dateiname

Ich habe UNLOAD Anweisung in Redshift für eine Weile jetzt verwendet, macht es einfacher, die Datei zu S3 zu dumpen und dann Menschen zu analysieren. Es ist an der Zeit zu versuchen, es zu automatisie

0Hitze

1Antwort

Wie transformieren Sie DynamoDB Map/List-Typen über AWS Pipeline zu Redshift?

Ich habe zwei DynamoDB-Tabellen, eine mit einem Map-Datentyp (JSON) und eine mit einem List-Datentyp (JSON-Liste). Unsere aktuelle Pipeline nach Redshift behauptet, dass dies nicht unterstützte Datent