Python itertools multiprocessing

Question

Ich erstelle ein riesiges Array von Permutationen mit Ersatz (Produkt) und es kostet so viel Zeit für die Berechnung. Lassen Sie uns einfache Funktion wie diese verwenden:

def permutations(li): 
    return [p for p in itertools.product(li, repeat=20)] 

permutation(range(11)) 

Ich bin einfach nicht sicher, wie diese Funktion in mehrere Prozesse aufgeteilt (mit „Pool“ Klasse oder ähnliches). Ich habe in Python noch nie Multiprocessing benutzt und würde gerne um Hilfe bitten.

Irgendwelche Hinweise?

Danke!

Answer 1

Zu groß geteilt durch 4 ist immer noch zu groß. Behalte unutbu's Kommentar: Es würde ewig dauern geteilt durch 4 mit Multiprocessing.

Allerdings ist hier ein funktionierendes Beispiel für nur 3 ** 2, vorausgesetzt, dass Sie etwas Nützliches in your_process tun:

import itertools 
import multiprocessing 

def your_process(perm): 
    # this is where you process each permutation 
    # currently it just prints the permutation. 
    print(perm) 

def permutations(li): 
    with multiprocessing.Pool(4) as workers: 
     workers.map(your_process, itertools.product(li, repeat=2)) 

permutations(range(3)) 

Aber wenn Sie wirklich> 11 haben **> 20 Permutationen, sollten mit etwas wie verteiltes Rechnen oder BOINC, oder vielleicht überdenken Sie Ihren Algorithmus.