Effizientes Lesen und Schreiben große Datei

Question

ich ein einfaches Programm, das Daten von einer Website liest dann schreibt sie in eine Datei mit urllib. Aber die Datei ist mehrere hundert Megabyte in Größe und Python hält Erhöhung Nicht genügend Speicher Fehler

import urllib 
content = urllib.urlopen (LINK) 
f = file ("Something.mp4", "wb") 
f.write (content.read()) 

Dann, wenn ich herunterladen und schreiben in Datei, den Speicherfehler erhöhen. Ich denke daran, den Inhalt in Blöcke zu zerlegen und jeden einzelnen Block zu schreiben, aber ich weiß nur, wie man eine Datei Zeile für Zeile statt Block für Block liest.

Update: Besser noch, gibt es eine Möglichkeit, ich kann gerade einen Datenblock vom Server lesen, schreiben, und starten Sie den Download wieder bei X? Ursache Ich denke, dass der Speicherfehler von den zurückgegebenen Daten der urllib-Dateiinstanz kommt!

Frage: Wie Daten herunterladen und effizient in eine Datei ohne Speichermangel schreiben? ... und/oder was ist ein pythonischer Weg dies zu erreichen?

Bonus: Wie kann ich die tatsächlichen Speichergrenzen/Parameter finden, die mein System verarbeiten kann? Beispiel: Da ich 4 GB RAM habe, bedeutet das, dass ich 4 Gigs Speicher verwenden kann? ... Was/Wann wird Python mich abschneiden, wenn ich einen bestimmten Speicherverbrauch überschritten habe?

Spezifikationen: Windows 8, 64 Bit, 4 GB RAM, 1,3 GHz CPU. Python 2.7

Answer 1

mit Anfragen Versuche Datei als Block

filename="something.mp4" 
r = requests.get(LINK, stream=True) 
with open(local_filename, 'wb') as f: 
    for block in r.iter_content(block_size=1024): 
    if block: 
     f.write(block) 

http://docs.python-requests.org/en/latest/user/advanced/#body-content-workflow Siehe