Lies den Inhalt von Dateien auf s3 bucket ohne Download

Question

Ich bin ziemlich neu zu aws und s3 so entschuldigung, wenn das aussieht habe ich noch nichts versucht. Ich möchte die Verzeichnisse und Dateien durchsuchen, die Dateien lesen und bestimmte Zeilen aus dem öffentlich zugänglichen s3-Bucket abrufen: s3://cgl-rnaseq-recompute-fixed/, ohne sie herunterzuladen. Ich möchte nur grundlegende Aufgaben wie grep/cat auf den Dateiinhalt durchführen können.

Für z.B. Ich sollte in der Lage sein, Zeilen mit MYCN aus allen Dateien und Ordnern auf dem S3-Bucket zu bekommen.

Was ist der effizienteste Weg? Gibt es Pakete in R/Python, die helfen können, s3-Buckets zu durchlaufen?

Danke!

Answer 1

http://boto.readthedocs.io/en/latest/s3_tut.html

conn = boto.s3.connection.S3Connection(
     aws_access_key_id='xxx', 
     aws_secret_access_key='yyy' 
) 
for key in conn.list(prefix='logs/*.log'): 
    print key