einen S3 Eimer in einem anderen Eimer Kopieren ist zu langsam mit dem folgenden Befehl:Das Kopieren eines S3-Buckets in einen anderen Bucket ist zu langsam. Wie kann ich das schneller machen?
aws s3 cp s3://bucket1 s3://bucket2 --recursive
awscli verwenden. Aber das ist zu langsam. Weil meine bucket1 zu viele Dateien enthält. Nur 3.000.000 Bilder in 12 Stunden.
Suchen Sie nach Empfehlungen, um den Kopiervorgang zu beschleunigen.
Sie können dieses Skript mit mehreren Threads verwenden:
Wie bereits erwähnt, ist diese Methode die empfohlene Vorgehensweise, um große Datenmengen von der Quelle zum Ziel zu übertragen.
Plus können Sie auch die Amazon S3 Übertragung Acceleration-Funktion auf den heißen Stein aktivieren (Es werden einige Gebühren anfallen), aber es wird Ihre Übertragungsgeschwindigkeit bis zu 100%
beschleunigen@Murtaza_Kanchawala gilt dies für die interne Übertragung von Region zu Region? Grund ich frage ist, weil ich nur 16MB/s bekomme, nicht schnell genug .... –
@TedTaylorofLife das gilt für Cross-Region und Sie müssen die Amazon S3 Transferbeschleunigung aktivieren. –
https://aws.amazon.co m/premiumsupport/knowledge-center/s3-optimize-transfer/ –