R foreach: von Einzelmaschine zu Cluster

Question

Das folgende (vereinfachte) Skript funktioniert einwandfrei auf dem Master-Knoten eines Unix-Clusters (4 virtuelle Kerne).

library(foreach) 
library(doParallel) 

nc = detectCores() 
cl = makeCluster(nc) 
registerDoParallel(cl) 

foreach(i = 1:nrow(data_frame_1), .packages = c("package_1","package_2"), .export = c("variable_1","variable_2")) %dopar% {  

    row_temp = data_frame_1[i,] 
    function(argument_1 = row_temp, argument_2 = variable_1, argument_3 = variable_2) 

} 

stopCluster(cl) 

Ich möchte die Vorteile der 16 Knoten im Cluster nehmen (16 * 4 virtuelle Kerne insgesamt).

Ich denke, alles, was ich tun muß, ist der parallel Backend von makeCluster angegeben ändern. Aber wie soll ich das machen? Die Dokumentation ist nicht sehr klar.

Basierend auf diese ziemlich alt (2013) veröffentlichen http://www.r-bloggers.com/the-wonders-of-foreach/ es scheint, dass ich den Standardtyp verändern soll (sock oder MPI - was würde ein-, dass die Arbeit auf Unix?)

EDIT

Aus diese vignette von den Autoren der foreach:

verwendet standardmäßig doParallel Multi-Core-Funktionalität auf Unix-ähnlichen Systemen und Schnee fu nktionalität unter Windows. Beachten Sie, dass die Multicore-Funktion nur Aufgaben auf einem einzelnen Computer ausführt, nicht auf einem Cluster von Computern. Sie können jedoch die Snow-Funktionalität verwenden, um unter einen Cluster unter Verwendung von Unix-ähnlichen Betriebssystemen, Windows oder sogar einer Kombination auszuführen.

Was bedeutet you can use the snow functionality? Wie soll ich das machen?

Answer 1

Das parallel Paket ist ein Zusammenschluss der multicore und snow Pakete, aber wenn Sie auf mehreren Knoten ausgeführt werden soll, müssen Sie die Nutzung der „Schnee-Funktionalität“ in parallel (das heißt, der Teil der parallel machen, dass wurde abgeleitet von snow). Praktisch gesprochen heißt das, dass Sie makeCluster mit dem Argument "type" aufrufen müssen, das auf "PSOCK", "SOCK", "MPI" oder "NWS" eingestellt ist, da dies die einzigen Clustertypen sind, die von der aktuellen Version parallel unterstützt werden Ausführung auf mehreren Knoten. Wenn Sie einen Cluster verwenden, der von sachkundigen HPC-Systemadministratoren verwaltet wird, sollten Sie "MPI" verwenden, andernfalls könnte es einfacher sein, "PSOCK" (oder "SOCK" zu verwenden, wenn Sie einen besonderen Grund haben, das "Schnee" -Paket zu verwenden)).

Wenn Sie eine „MPI“ Cluster zu erstellen, sollten Sie das Skript über R mit dem mpirun Befehl mit der „-n 1“ Option, und das erste Argument makeCluster Satz auf die Anzahl der Arbeiter auszuführen, sollte hervorgebracht. (Wenn Sie nicht wissen, was das bedeutet, können Sie diesen Ansatz nicht verwenden.)

Wenn Sie einen "PSOCK" - oder "SOCK" -Cluster erstellen, muss das erste Argument für makeCluster ein Vektor sein Hostnamen, und makeCluster startet Arbeiter auf diesen Knoten über den Befehl "ssh", wenn makeCluster ausgeführt wird. Das bedeutet, dass auf allen angegebenen Hosts ssh-Daemons ausgeführt werden müssen.

Ich habe viel mehr zu diesem Thema an anderer Stelle geschrieben, aber hoffentlich wird dies Ihnen helfen, anzufangen.

Answer 2

Hier ist eine teilweise Antwort, die Sie in der richtigen Richtung auf diese ziemlich alt

Basierend senden kann (2013) veröffentlichen http://www.r-bloggers.com/the-wonders-of-foreach/ es scheint, dass ich soll den Standardtyp (Gabel MPI ändern, aber warum? würde das funktionieren auf Unix?)

fork ist eine Möglichkeit, Prozesse Hintergrund Laich auf POSIX-System. Auf einem einzigen Knoten mit n Kernen können Sie n Prozesse parallel erzeugen und funktionieren. Dies funktioniert nicht auf mehreren Computern, da sie keinen gemeinsamen Speicher haben. Sie benötigen eine Möglichkeit, Daten zwischen ihnen zu erhalten.

MPI ist eine tragbare Möglichkeit zur Kommunikation zwischen Cluster von Knoten. Ein MPI-Cluster kann über Knoten hinweg arbeiten.

Was können Sie die Schnee Funktionalität bedeuten? Wie soll ich das machen?

snow ist ein separates Paket. Um einen 16-Knoten MPI Cluster mit Schnee zu machen, tun Sie cl <- makeCluster(16, type = "MPI"), aber Sie müssen R in der richtigen Umgebung ausgeführt werden, wie beschrieben Steve Weston die Antwort und in his answer to a similar question here. (Sobald Sie es in Betrieb genommen haben, müssen Sie möglicherweise Ihre Schleife ändern, um 4 Kerne auf jedem Knoten zu verwenden.)