Ist ein Cluster-Computing-Job eine sofortige Übermittlung oder ein fortlaufender Zugriff?

Question

Ich arbeite normalerweise auf einem Cluster-Computer. Ich habe ein paar sehr große R Scripts, die ich zum Ausführen von Daten verwenden. Das vollständige Rscript dauert etwa 5 Stunden. Um dies zu tun, verwende ich den Cluster, indem ich einen Job mit qsub übergebe. Dadurch kann ich meinen Computer verlassen und warten, bis der Cluster ausgeführt wird. Allerdings möchte ich dieses spezielle Rscript mit kleinen Änderungen 20 separate Male ausführen.

Ich habe gewartet, bis der Clusterjob beendet ist. Gehen Sie dann in das Rscript und basteln Sie an den Dateinamen und senden Sie dann einen weiteren Job an den Cluster.

Meine Frage ist dies: Nachdem ich den Auftrag an den Cluster übergeben habe, kann ich weitermachen und mit der Rscript - Datei basteln, während der Cluster computing ist (dh sendet der Job eine Kopie von allem an den Cluster zum Zeitpunkt Einreichung)? ODER muss ich warten, bis der Job beendet ist, bevor ich mit dem Rscript basteln kann (der Cluster greift während des gesamten Jobs auf mein Rscript zu, wie es benötigt wird)?

Ich würde im Idealfall Szenario 1 der Fall sein, denn dann könnte ich viele Jobs nacheinander senden, nachdem ich kleine Anpassungen mache, aber ich weiß nicht, wie es funktioniert?

Answer 1

Das hängt von Ihrem Cluster und wie es eingerichtet ist. Das Beste, was Sie tun können, ist, eine andere Instanz des Skripts unter einem anderen Namen zu speichern und nach Herzenslust abzuspielen.