Python: Laufen subprocess parallel

Question

Ich habe den folgenden Code, der die MD5-Summen in eine Logdatei

for file in files_output: 
    p=subprocess.Popen(['md5sum',file],stdout=logfile) 
p.wait() 

1. Wird diese parallel geschrieben werden, schreibt? Wenn md5sum eine lange Zeit für eine der Dateien benötigt, wird eine andere gestartet, bevor auf die Fertigstellung einer vorherigen Datei gewartet wird?

2. Wenn die Antwort zu obigem ja ist, kann ich annehmen, dass die Reihenfolge der md5sums, die in logfile geschrieben werden, davon abhängen kann, wie lange md5sum für jede Datei dauert? (einige Dateien können riesig sein, einige klein)

Answer 1

Alle Unterprozesse werden parallel ausgeführt. (Um dies zu vermeiden, muss man explizit auf ihren Abschluss warten.) Sie können sogar gleichzeitig in die Protokolldatei schreiben und so die Ausgabe verstopfen. Um dies zu vermeiden, sollten Sie jeden Prozess in eine andere Protokolldatei schreiben und alle Ausgaben erfassen, wenn alle Prozesse abgeschlossen sind.

q = Queue.Queue() 
result = {} # used to store the results 
for fileName in fileNames: 
    q.put(fileName) 

def worker(): 
    while True: 
    fileName = q.get() 
    if fileName is None: # EOF? 
     return 
    subprocess_stuff_using(fileName) 
    wait_for_finishing_subprocess() 
    checksum = collect_md5_result_for(fileName) 
    result[fileName] = checksum # store it 

threads = [ threading.Thread(target=worker) for _i in range(20) ] 
for thread in threads: 
    thread.start() 
    q.put(None) # one EOF marker for each thread 

Danach sollten die Ergebnisse in result gespeichert werden.

Answer 2

1. Ja, diese md5sum-Prozesse werden parallel gestartet.
2. Ja, die Reihenfolge der MD5sums Schreibvorgänge wird unvorhersehbar sein. Und im Allgemeinen wird es als eine schlechte Praxis angesehen, eine einzelne Ressource wie Datei von vielen Prozessen auf diese Weise zu teilen.

auch Ihr Weg p.wait() nach der for Schleife machen wird nur für die letzten von md5sum Prozessen warten zu beenden und der Rest von ihnen noch ausgeführt werden könnte.

Aber Sie können diesen Code leicht ändern, um noch Vorteile der parallelen Verarbeitung und Vorhersagbarkeit der synchronisierten Ausgabe zu haben, wenn Sie die md5sum Ausgabe in temporäre Dateien sammeln und wieder in einer Datei sammeln, sobald alle Prozesse abgeschlossen sind.

import subprocess 
import os 

processes = [] 
for file in files_output: 
    f = os.tmpfile() 
    p = subprocess.Popen(['md5sum',file],stdout=f) 
    processes.append((p, f)) 

for p, f in processes: 
    p.wait() 
    f.seek(0) 
    logfile.write(f.read()) 
    f.close() 

Answer 3

Ein einfacher Weg, Ausgabe von parallel md5sum Subprozesse zu sammeln ist ein Thread-Pool zu verwenden und aus dem Hauptprozess in die Datei schreiben:

from multiprocessing.dummy import Pool # use threads 
from subprocess import check_output 

def md5sum(filename): 
    try: 
     return check_output(["md5sum", filename]), None 
    except Exception as e: 
     return None, e 

if __name__ == "__main__": 
    p = Pool(number_of_processes) # specify number of concurrent processes 
    with open("md5sums.txt", "wb") as logfile: 
     for output, error in p.imap(md5sum, filenames): # provide filenames 
      if error is None: 
       logfile.write(output) 

• die Ausgabe von md5sum klein ist, dass Sie so kann es im Speicher speichern
• imap Konserven Reihenfolge
• number_of_processes kann sich von der Anzahl der Dateien oder der CPU unterscheiden Kerne (größere Werte bedeutet nicht schneller: es hängt von der relativen Leistung von IO (Festplatten) und CPU)

Sie können versuchen, mehrere Dateien auf einmal zu den Unterprozessen md5sum übergeben.

In diesem Fall benötigen Sie keinen externen Subprozess; you can calculate md5 in Python:

import hashlib 
from functools import partial 

def md5sum(filename, chunksize=2**15, bufsize=-1): 
    m = hashlib.md5() 
    with open(filename, 'rb', bufsize) as f: 
     for chunk in iter(partial(f.read, chunksize), b''): 
      m.update(chunk) 
    return m.hexdigest() 

mehr Prozesse anstelle von Threads zu verwenden (md5sum() dem reinen Python zu ermöglichen läuft parallel Verwendung mehrerer CPUs) in dem obigen Code nur Drop .dummy aus dem Import.