Was ist der beste Weg, um Daten von AWS Ubuntu Server in einen Amazon S3-Bucket zu verschieben?

Question

Ich lade große Datenmengen (link to data) auf einen AWS Ubuntu Server mit der Hoffnung, die Daten schließlich in einen gemounteten S3-Bucket zu bekommen. Das Problem ist, dass wenn ich alle Daten (z. B.> 1 TB Daten) auf den AWS Ubuntu Server mit einer 200-GB-Festplatte herunterladen würde, die Grenzen der Festplatte überschreiten würde. Wie kann ich deshalb Daten effizient in den S3-Bucket übertragen?

Ich habe überlegt, eine einzelne Datei auf die Festplatte zu kopieren, mit S3 zu synchronisieren und die Datei zu löschen, obwohl dieser Ansatz schrecklich ineffizient zu sein scheint.

Answer 1

Laut den Kommentaren scheint es, als wäre es das Beste, awscli zu verwenden, um dieses von Ihrem lokalen Rechner direkt auf s3 hochzuladen.

Hier sind die grundlegenden Schritte:

• pip install awscli (oder use other installation methods)
• aws configure
• aws s3 cp /my/local/file.txt s3://bucket/key.txt

Es gibt viele andere Methoden, aber offizielle Available Kommandozeilen-Tool AWS ist gut unterstützt und ein guter Start für diejenigen mit Shell-Wissen.

Answer 2

Da Sie riesige Datendateien haben, empfehle ich Ihnen, S3FS zu verwenden, ein Werkzeug, das die S3-Festplatte in Ihre Instanz einbindet, damit Sie auf alle Dateien zugreifen können, da es ein normales Dateisystem war (was theoretisch ist) . Hier ist ein Link, damit Sie mehr Informationen haben

UPDATE 1: im Auge behalten, dass die Übertragungsgeschwindigkeit sehr langsam ist (10 MB/s nach meinen Tests), aber ich hoffe, dass es Ihre Bedürfnisse

paßt

http://tecadmin.net/mount-s3-bucket-centosrhel-ubuntu-using-s3fs/