Ich versuche, mit doParallel und foreach, aber keine Verbesserung zu starten

Question

Ich versuche, das DoParallel und Foreach-Paket zu verwenden, aber ich habe eine Verringerung der Leistung mit dem Bootstrapping-Beispiel in der Anleitung gefunden hier CRANpage.

library(doParallel) 
library(foreach) 
registerDoParallel(3) 
x <- iris[which(iris[,5] != "setosa"), c(1,5)] 
trials <- 10000 
ptime <- system.time({ 
    r <- foreach(icount(trials), .combine=cbind) %dopar% { 
    ind <- sample(100, 100, replace=TRUE) 
    result1 <- glm(x[ind,2]~x[ind,1], family=binomial(logit)) 
    coefficients(result1) 
    } 
    })[3] 
ptime 

Dieses Beispiel gibt 56.87 zurück.

Wenn ich die dopar in nur do ändern, um sie sequentiell anstatt parallel auszuführen, gibt sie 36.65 zurück.

Wenn ich registerDoParallel(6) tun, erhält es die parallele Zeit bis 42.11 ist aber immer noch langsamer als sequentiell. registerDoParallel(8) wird 40.31 immer noch schlechter als sequenziell.

Wenn ich trials auf 100.000 erhöhen, dann dauert der sequentielle Lauf 417.16 und der parallele Lauf mit 3 Arbeitern dauert 597.31. Bei 6 parallel arbeitenden Mitarbeitern dauert es 425.85.

Mein System ist

• Dell Optiplex 990

• Windows 7 Professional 64-Bit-

• 16GB RAM

• Intel i-7-2600 3,6 GHz Quad- Kern mit Hyperthreading

Mache ich hier etwas falsch? Wenn ich die am meisten gekünstelte Sache mache, die ich mir vorstellen kann (indem ich den Berechnungscode durch Sys.sleep(1) ersetze), dann bekomme ich eine tatsächliche Reduktion, die eng proportional zur Anzahl der Arbeiter ist. Ich frage mich, warum das Beispiel im Guide die Leistung für mich verringert, während es für sie die Dinge beschleunigt hat?

Answer 1

Das zugrunde liegende Problem ist, dass attach für jede Taskausführung auf den Arbeitern des PSOCK-Clusters ausführt, um die exportierten Variablen dem Paketsuchpfad hinzuzufügen. Dies behebt verschiedene Problembereiche, kann jedoch die Leistung erheblich beeinträchtigen, insbesondere bei Aufgaben mit kurzer Dauer und großen Mengen exportierter Daten. Diese tut nicht geschehen unter Linux und Mac OS X mit Ihrem Beispiel, da sie mclapply statt clusterApplyLB verwenden, aber es wird auf allen Plattformen passieren, wenn Sie explizit einen PSOCK-Cluster registrieren.

Ich glaube, dass ich herausgefunden habe, wie man die Aufgabe Scoping Probleme in einer anderen Art und Weise zu lösen, die die Leistung nicht weh, und ich arbeite mit Revolution Analytics das Update in die nächste Version von doParallel zu bekommen und doSNOW , die auch das gleiche Problem hat.

Sie können Chunking mithilfe von Aufgabe, um dieses Problem zu umgehen:

ptime2 <- system.time({ 
    chunks <- getDoParWorkers() 
    r <- foreach(n=idiv(trials, chunks=chunks), .combine='cbind') %dopar% { 
    y <- lapply(seq_len(n), function(i) { 
     ind <- sample(100, 100, replace=TRUE) 
     result1 <- glm(x[ind,2]~x[ind,1], family=binomial(logit)) 
     coefficients(result1) 
    }) 
    do.call('cbind', y) 
    } 
})[3] 

Dies pro Arbeitnehmer nur eine Aufgabe führt, so dass jeder Arbeiter führt nur attach einmal, anstatt trials/3 mal.Es führt auch zu weniger, aber größeren Socket-Operationen, die auf den meisten Systemen effizienter ausgeführt werden können, aber in diesem Fall ist das kritische Problem attach.