Wie komprimiere ich eine große Datei in Python?

Question

Das Problem, das ich erfahre, ist der Name der gespeicherten Datei. Die gespeicherte Datei wird nicht mit dem ursprünglichen/nicht komprimierten Dateinamen benannt. Stattdessen wird die gespeicherte Datei mit dem Archivnamen (mit der angehängten Erweiterung ".gz") benannt.

Erwartetes Ergebnis:
file.txt.gz {Archivname}
.... datei.txt {gespeicherte Dateiname}

Tatsächliches Ergebnis:
file.txt.gz {Archivname}
.... file.txt.gz {gespeicherte Dateiname}

durch die gzip Dokumentation Reading (https://docs.python.org/2.7/library/gzip.html) Beispielcode:

import gzip 
import shutil 
with open('file.txt', 'rb') as f_in, gzip.open('file.txt.gz', 'wb') as f_out: 
    shutil.copyfileobj(f_in, f_out) 

Wie bekomme ich das Archiv, um die Datei mit dem Namen "file.txt" statt "file.txt.gz" zu speichern?

Answer 1

Sie unterscheiden zwischen 'gespeicherter Dateiname' und 'Archivname', aber für die gzip-Komprimierung ist dies die falsche Denkweise, da gzip kein Archivformat ist, sondern nur ein Komprimierungsprotokoll.

Wenn Sie eine 'gzip' Datei speichern, merkt sie sich nicht (unbedingt) den ursprünglichen Dateinamen. Es gibt nur den komprimierten Inhalt der Originaldatei, den Sie beliebig benennen können. Es gibt eine Konvention, um denselben Namen wie die Originaldatei zu erhalten, aber mit ".gz" angehängt. Die „gzip“ und „gunzip“ Dienstprogramme auf Unix-Systemen wird dies übernehmen, wenn Sie nur einen Dateinamen angeben:

gzip foo.txt 
# now foo.txt has been deleted, and foo.txt.gz exists 
gunzip foo.txt.gz 
# now you have foo.txt back, and foo.txt.gz has been deleted. 

Wenn Sie foo.txt.gz umbenennen, um bar.txt.gz und dann gunzip, werden Sie Get 'Goo.txt', wenn Sie Unix gunzip verwenden (aber andere Dienstprogramme könnten etwas anderes tun).

Sie können jedoch gzip und gunzip im Stream-Modus verwenden, in diesem Fall wissen sie nichts über Dateinamen - gzip ist wirklich über die Komprimierung und kümmert sich nicht um Dateinamen.

(Bearbeiten: gzip kann einen Dateinamen speichern, aber in einigen Fällen kann es nicht (wenn es keine ursprüngliche "Datei", nur Daten), und ob dies verwendet wird oder nicht, wenn Dekomprimierung ist völlig optional).

Answer 2

Sie müssen gzip.GzipFile() verwenden; Die Kurzschrift gzip.open() wird nicht tun, was Sie wollen.

Quoth the doc:

Wenn fileobj nicht None ist, das Dateiname Argument nur in den gzip Datei-Header enthalten sein verwendet, der die ursprünglichen Dateinamen der unkomprimierten Datei enthalten kann . Es wird standardmäßig der Dateiname fileobj, wenn erkennbar; Andernfalls wird standardmäßig die leere Zeichenfolge verwendet. In diesem Fall ist der ursprüngliche Dateiname nicht in der Kopfzeile enthalten.

Versuchen Sie folgendes:

import gzip 
import shutil 
with open('file.txt', 'rb') as f_in: 
    with open('file.txt.gz', 'wb') as f_out: 
     with gzip.GzipFile('file.txt', 'wb', fileobj=f_out) as f_out: 
      shutil.copyfileobj(f_in, f_out)