Herunterladen von komprimiertem Inhalt über HTTP mit Python

Question

Wie nutze ich die HTTP 1.1-Komprimierung beim Herunterladen von Webseiten mit Python?

Ich verwende derzeit das integrierte Modul urllib zum Herunterladen von Web-Inhalten. Beim Lesen der Dokumentation konnte ich keine Informationen finden, die tatsächlich Komprimierung verwenden.

Ist es bereits in urllib eingebaut oder gibt es eine andere Bibliothek, die ich verwenden kann?

Answer 1

httplib2 unterstützt 'deflate' und 'gzip' Komprimierung.

Beispiel

import httplib2 
h = httplib2.Http(".cache") 
resp, content = h.request("http://example.org/", "GET") 

Der Inhalt wird nach Bedarf dekomprimiert.