Rückverfolgung seltenen Fehler

Question

Ich bin mit einem Code, der sehr lange dauert, um zu berechnen. Ich habe meinen Code unter Verwendung von foreach()%dopar% parallel gemacht und bin auf dem Cluster gelaufen.

Es läuft in der Regel gut, aber manchmal stürzt ab und ich bekomme die folgende Fehlermeldung: Error in { : task 4 failed - "missing value where TRUE/FALSE needed" Calls: %dopar% -> <Anonymous> Execution halted

Jetzt heißt es Execution gestoppt, sondern nur für diesen speziellen Kern so die anderen weiterlaufen und am Ende scheitert es zur Ausgabe aber doesn Sag es mir nicht vorher. Ich denke, es ist ein Problem mit einer if Aussage. Ich habe versucht, den Code auf meinem Computer zu simulieren, aber es ist so selten, dass ich es nicht simulieren kann.

Der Code kann problemlos 100 Stunden lang ausgeführt werden, wobei 100 000 Schleifen ausgeführt werden und nur einer von ihnen fehlschlägt.

Meine Fragen sind: Kann ich zurückverfolgen, wo der Fehler war? (Ich lasse den Code auf einem Cluster laufen, so dass ich nicht all die netten Rstudio-Sachen habe)
Ist es auch möglich, immer noch von einer foreach()-Schleife auszugeben, selbst wenn eine der Aufgaben abgestürzt ist?
Oder vielleicht irgendeine Methode, die Leute benutzen, damit ich den Unfall auf meinem Computer geschehen lassen kann?

Ich kann den Code bei Bedarf schreiben, bitte fragen, ob es hilft.

Answer 1

Das foreach Argument ".errorhandling" soll in dieser Situation helfen. Wenn Sie möchten, dass foreach Fehler durchgibt, verwenden Sie .errorhandling="pass". Wenn Sie möchten, dass Fehler herausgefiltert werden (was die Länge des Ergebnisses reduziert), verwenden Sie .errorhandling="remove". Der Standardwert ist "stop", was einen Fehler anzeigt, der angibt, welche Aufgabe fehlgeschlagen ist.

Leider unterstützen die meisten parallelen Backends keine Tracebacks, aber doMPI tut dies. Sie rufen einfach "startMPIcluster" mit verbose=TRUE auf, und das Traceback wird in die Protokolldatei des Worker, der den Fehler hatte, geschrieben. Hier ist ein Beispiel, das einen Fehler erzeugt auf Aufgabe 42:

suppressMessages(library(doMPI)) 
cl <- startMPIcluster(4, verbose=TRUE) 
registerDoMPI(cl) 
g <- function(i) { 
    if (i == 42) { 
    if (NULL) cat('hello, world\n') 
    } 
    7 
} 
f <- function(i) g(i) 
r <- foreach(i=1:50, .errorhandling='pass') %dopar% f(i) 
print(r) 
closeCluster(cl) 
mpi.quit() 

Da es .errorhandling="pass" verwendet, das Skript ausgeführt wird bis zur Fertigstellung, mit einem Fehlerobjekt in Elemente zurück 42 des Ergebnisliste. Darüber hinaus enthält eine der Protokolldateien die eine Rückverfolgung des Fehlers (zusammen mit vielen anderen Nachrichten):

waiting for a taskchunk... 
executing taskchunk 42 containing 1 tasks 
error executing task: argument is of length zero 
traceback (most recent call first): 
> g(i) 
> f(i) 
> eval(expr, envir, enclos) 
> eval(expr, envir) 
> executeTask(taskchunk$argslist[[1]]) 
> executeTaskChunk(cl$workerid, taskchunk, envir, err, cores) 
returning error results for taskchunk 42 

Leider ist doMPI meist auf Linux-Systemen verwendet wird, so ist dies nicht hilfreich für die meisten Mac und Windows Benutzer.