Wie lade ich Daten über Python Boto3 in Amazon Redshift?

Question

In Amazon Redshifts Getting Started Guide werden Daten aus Amazon S3 abgerufen und mithilfe von SQLWorkbench/J in einen Amazon Redshift-Cluster geladen. Ich möchte den gleichen Prozess der Verbindung mit dem Cluster und Laden von Beispieldaten in den Cluster unter Verwendung Boto3 nachahmen.

Allerdings in Boto3's documentation von Redshift, ich bin nicht in der Lage, eine Methode zu finden, mit der ich Daten in Amazon Redshift-Cluster hochladen würde.

Ich habe in der Lage gewesen, mit Redshift Verwendung Boto3 mit dem folgenden Code zu verbinden:

client = boto3.client('redshift') 

Aber ich bin nicht sicher, welche Methode mir entweder Tabellen erstellen erlauben würde, oder Daten auf Amazon Redshift lädt die Art und Weise Es ist in der tutorial with SQLWorkbenchJ getan.

Answer 1

Kehren Sie zu Schritt 4 in diesem Tutorial zurück, das Sie verknüpft haben. Sehen Sie, wo Sie sehen, wie Sie die URL des Clusters erhalten? Sie müssen eine Verbindung zu dieser URL mit einem PostgreSQL-Treiber herstellen. Die AWS-SDKs wie Boto3 bieten Zugriff auf die AWS-API. Sie müssen sich über eine PostgreSQL-API mit Redshift verbinden, so wie Sie eine Verbindung zu einer PostgreSQL-Datenbank auf RDS herstellen würden.

Answer 2

Richtig, Sie brauchen psycopg2 Python-Modul zum Ausführen von COPY-Befehl.

sieht Ihr Code wie folgt:

import psycopg2 
#Amazon Redshift connect string 
conn_string = "dbname='***' port='5439' user='***' password='***' host='mycluster.***.redshift.amazonaws.com'" 
#connect to Redshift (database should be open to the world) 
con = psycopg2.connect(conn_string); 
sql="""COPY %s FROM '%s' credentials 
     'aws_access_key_id=%s; aws_secret_access_key=%s' 
     delimiter '%s' FORMAT CSV %s %s; commit;""" % 
     (to_table, fn, AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY,delim,quote,gzip) 

#Here 
# fn - s3://path_to__input_file.gz 
# gzip = 'gzip' 

cur = con.cursor() 
cur.execute(sql) 
con.close() 

I boto3/psycopg2 CSV_Loader_For_Redshift