amazon-redshift

5Hitze

3Antwort

So kopieren Sie Daten in großen Mengen von Kinesis -> Redshift

Wenn ich über AWS Datenpipeline lesen Sie die Idee sofort - produzieren Statistiken zu Kinesis und erstellen Sie einen Job in der Pipeline, die Daten aus Kinesis verbrauchen und COPY es um jede Stunde

6Hitze

1Antwort

Entfernen Sie alle Duplikate aus Redshift-Datenbank

Ich habe eine sehr große Redshift-Datenbank. Die Datensätze haben keine eindeutigen Schlüssel oder IDs. Ich möchte alle Duplikate mit der effizientesten Abfrage entfernen. Andere Stackoverflow-Fragen

5Hitze

2Antwort

Warum verwenden Redshift COPY-Abfragen (viel) mehr Speicherplatz für Tabellen mit einem Sortierschlüssel

Ich habe eine große Menge von Daten in S3 in Form von ein paar hundert CSV-Dateien, die ~ 1,7 TB insgesamt (unkomprimiert) sind. Ich versuche, es auf einen leeren Tisch in einem Redshift-Cluster zu ko

16Hitze

2Antwort

Pros & Contras von BigQuery vs. Amazon Redshift

Vergleichen von Google BigQuery und Amazon Redshift zeigt, dass beide die gleichen Anforderungen erfüllen können, unterscheiden sich vor allem nach Kostenplänen. Es scheint, dass Redshift komplexer zu

5Hitze

1Antwort

Travis CI/Pro: CIDR/IP-Bereich?

Wir verwenden Travis Pro und wir haben einige Tests gegen Redshift. Gibt es einen CIDR/IP-Bereich für Travis-VMs, für den wir eine Sicherheitsregel in Redshift erstellen können? Offensichtlich werden

5Hitze

4Antwort

Amazon Redshift bei 100% Festplattennutzung aufgrund der VACUUM-Abfrage

Lesen der Amazon Redshift-Dokumentation Ich habe einen VACUUM auf einer bestimmten 400GB-Tabelle ausgeführt, die zuvor noch nie abgesaugt wurde, um die Abfrageleistung zu verbessern. Leider hat der VA

8Hitze

2Antwort

Abfrage von JSON-Feldern in Redshift

Wir planen, Redshift bald zu verwenden, und eines unserer Felder (Spalten) ist ein JSON-Wert. Es ist ein flacher JSON (dh definitionsgemäß keine verschachtelten Ebenen) und der Grund, warum wir JSON v

6Hitze

3Antwort

So leiten Sie Daten von AWS Postgres RDS zu S3 (dann Redshift)?

Ich verwende den AWS-Datenpipeline-Dienst, um Daten von einer RDS MySql-Datenbank an s3 und dann an Redshift zu leiten, was gut funktioniert. Allerdings habe ich auch Daten in einer RDS Postres Instan

5Hitze

2Antwort

So beschleunigen Sie Redshift-Abfragen

Ich verwende json_extract_path_text Funktion, um Werte aus JSON zu extrahieren. Wenn die Zeilendaten zunehmen, dauert die Ausführung der Abfrage lange Zeit und schlägt für einige Zeit fehl. Gibt es ei

7Hitze

2Antwort

Schlechte Leistung bei Amazon Redshift-Abfragen basierend auf VARCHAR-Größe

Ich baue ein Amazon Redshift Data Warehouse und erfahre aufgrund der definierten Größe der VARCHAR-Spalte unerwartete Leistungseinbußen. Die Details sind wie folgt. Drei meiner Säulen sind aus pg_tabl