parallelisieren verschachtelte Für-Schleife auf 3-dimensionales Array in R

Question

Verwenden von R auf einem Windows-Rechner, ich bin zur Zeit eine geschachtelte Schleife auf einem 3D-Array läuft (720x360x1368), die zyklisch durch d1 und d2 Funktion über d3 anzuwenden und montieren die Ausgabe in ein neues Array ähnlicher Dimensionalität.

Im folgenden reproduzierbaren Beispiel habe ich die Dimensionen 10, um den Faktor reduziert schneller machen Ausführung.

library(SPEI) 

old.array = array(abs(rnorm(50)), dim=c(72,36,136)) 

new.array = array(dim=c(72,36,136)) 

for (i in 1:72) { 
    for (j in 1:36) { 
    new.listoflists <- spi(ts(old.array[i,j,], freq=12, start=c(1901,1)), 1, na.rm = T) 
    new.array[i,j,] = new.listoflists$fitted 
    } 
} 

wo spi() ist eine Funktion aus dem SPEI Paket eine Liste von Listen der Rückkehr, von denen eine bestimmten Liste $fitted der Länge 1368 von jedem Schleifenschritt verwendet wird, um das neue Array cunstruct.

Während diese Schleife einwandfrei funktioniert, dauert es eine ziemlich lange Zeit zu berechnen. Ich habe gelesen, dass foreach verwendet werden kann, um for Schleifen zu parallelisieren.

Aber ich verstehe nicht, wie die Verschachtelung und die Montage des neuen Arrays können so erreicht werden, dass die dimnames der alten und der neuen Array konsistent sind.

(Am Ende, was ich will in der Lage sein, sowohl die alten und das neue Array in einen „flachen“ langen Panel-Datenrahmen mit as.data.frame.table() und kombinieren sie entlang ihrer drei Dimensionen zu transformieren.)

Jede Hilfe, wie ich die gewünschte Ausgabe mit Hilfe von Parallelverarbeitung erreichen kann, wird sehr geschätzt!

Prost
CubicTom

Answer 1

Es wäre mit einem reproduzierbaren Beispiel besser gewesen, hier ist das, was ich komme mit:

Erstellen Sie zunächst die Cluster Sie

cl <- makeCluster(6, type = "SOCK") 
registerDoSNOW(cl) 

Dann erstellen Sie verwenden Schließen der Schleife und der Cluster:

zz <- foreach(i = 1:720, .combine = c) %:% 
foreach(j = 1:360, .combine = c) %dopar% { 
new.listoflists <- FUN(old.array[i,j,]) 
new.array[i,j,] <- new.listoflists$list 
} 
stopCluster(cl) 

Dadurch wird eine Liste zz jede Iteration von new.array [i, j,], dann können Sie sie binden zusammen mit erstellen enthält:

new.obj <- plyr::ldply(zz, data.frame) 

Hoffnung, dies hilft Ihnen!

Answer 2

Ich habe nicht so viel von Dimensionen wie Ihre Frage verwenden, weil ich das Verhalten korrekt war, um sicherzustellen, wollte. Also hier verwende ich Mapply, die mehrere Argumente nehmen. Das Ergebnis ist eine Liste der Ergebnisse. Dann habe ich es mit Matrix() umhüllt, um die erhofften Dimensionen zu bekommen. Bitte beachten Sie, dass i wird unter Verwendung von mal und j wiederholt jeder verwenden. Dies ist kritisch, da matrix() Einträge zuerst nach Zeile einfügt und dann in die nächste Spalte springt, wenn die Anzahl der Zeilen erreicht ist.

new.array = array(1:(5*10*4), dim=c(5,10,4)) 

# FUN: function which returns lists of 
FUN <- function(x){ 
    list(lapply(x, rep, times=3)) 
} 

# result of the computation 
result <- matrix(
    mapply(
     function(i,j,...){ 

      FUN(new.array[i,j,]) 
     } 
     ,i = rep(1:nrow(new.array),times=ncol(new.array)) 
     ,j = rep(1:ncol(new.array),each=nrow(new.array)) 
     ,new.array=new.array 
    ) 
    ,nrow=nrow(new.array) 
    ,ncol=ncol(new.array) 
)