2016-05-07 12 views
0

http://www.ngcrawford.com/2012/03/29/python-multiprocessing-large-files/ ein Wörterbuch einer großen Textdatei mit Multiprozessing erstellen möchten, und ich fand this.But Ich habe einige Fragen zu den Parametern, die Autor in diesem Code verwendet:Prozess große Textdatei mit Python Multiprocessing

p = multiprocessing.Pool(4) 

Was ist der Parameter von Pool? Mit anderen Worten, was bedeutet "4"?

for chunk in grouper(10, test_data): 

was bedeutet "10"

+0

Erwägen Sie, den Titel Ihrer Frage in etwas zu ändern, das das abdeckt, was Sie tatsächlich fragen. –

Antwort

0

Pool(4) bedeuten bedeutet, dass Sie einen Pool von vier Arbeitsprozesse starten.

Das Argument grouper wird in der Definition der Funktion auf, die Web-Seite erklärt:

def grouper(n, iterable, padvalue=None): 
    """grouper(3, 'abcdefg', 'x') --> 
    ('a','b','c'), ('d','e','f'), ('g','x','x')""" 

    return izip_longest(*[iter(iterable)]*n, fillvalue=padvalue) 

Die Ausgabeliste von Chunks eines jeden n Elemente bestehen.