IPython parallel Skripte die lokalen Variablen

Question

Zum Beispiel laufen und zurück, ich laufe 4 Skripte nacheinander:

%run -i script1.py 
%run -i script2.py 
%run -i script3.py 
%run -i script4.py 

Die Zeit der Ausführung jeder ziemlich lang. Gibt es eine Möglichkeit in iPython Notebook, die Skripte parallel laufen und die lokalen Variablen von allen (2 oder 3 Variablen, die wichtig sind) zurückgeben? In der sequentiellen Ausführung funktioniert es gut, aber lang. Vielen Dank im Voraus.

Ich habe versucht, den Code von diesen topic anzuwenden, sondern auf dem ersten Teil fest:

def my_func(my_file): 
     !python pgm.py my_file 

oder in meinem Fall:

def my_func(my_file): 
     %run -i $my_file 

ich, dass die Ausführung des Codes zu sehen ist passiert, aber danach kann ich die lokalen Variablen aus diesen Skripts nicht sehen.

Answer 1

Angenommen, Sie haben 4 Engines gestartet, und Sie senden Ihre 4 Skripte an jedes.

Nachdem ich

rc = parallel.Client() 
view = rc.load_balanced_view() 
r = view.map_async(my_func, ["script1.py", "script2.py", "script3.py", "script4.py"]) 

Sobald es fertig ist, können Sie zugreifen, sagen wir mal Variable a und b mit pull:

var = rc[:].pull(["a","b"]) 
var.result # or var.r or var.result_dict 
[[10, 12020.2], [11, 14], [1, 0], [1, 14425]] 

, der dem Wert von a entsprechen und b nach jedem der Lauf von jedem Skript.

So in script1.py, am Ende haben Sie a==10 und b==12020.2.

Hoffe, das hilft.

---

By the way, bearbeitet ich ein bisschen die link Sie sich beziehen, da ein kleiner Fehler war:

def my_func(my_file): 
     !python pgm.py my_file 

sollte sein:

def my_func(my_file): 
     !python pgm.py {my_file}