Python: eine sehr große Binärdatei schneiden

Question

Angenommen, ich habe eine binäre Datei von 12 GB und ich möchte 8GB aus der Mitte davon schneiden. Ich kenne die Positionsindizes, zwischen denen ich schneiden möchte.

Wie mache ich das? Offensichtlich passen 12GB nicht in den Speicher, das ist in Ordnung, aber 8GB wird auch nicht ... Was ich dachte, war in Ordnung, aber es scheint Binär scheint es nicht zu mögen, wenn Sie es in Stücke tun! Ich habe 10 MB auf einmal an eine neue Binärdatei angehängt und es gibt Diskontinuitäten an den Rändern jedes 10MB Chunks in der neuen Datei.

Gibt es eine pythonische Art, dies leicht zu tun?

Answer 1

Hier ist ein kurzes Beispiel. Passen Sie nach Bedarf:

def copypart(src,dest,start,length,bufsize=1024*1024): 
    with open(src,'rb') as f1: 
     f1.seek(start) 
     with open(dest,'wb') as f2: 
      while length: 
       chunk = min(bufsize,length) 
       data = f1.read(chunk) 
       f2.write(data) 
       length -= chunk 

if __name__ == '__main__': 
    GIG = 2**30 
    copypart('test.bin','test2.bin',1*GIG,8*GIG)