Wie werden Partitionen Aufgaben in Spark zugeordnet?

Question

Wenn ich eine RDD in sage 60 partitioniere und ich insgesamt 20 Kerne habe, die auf 20 Maschinen verteilt sind, d. H. 20 Instanzen von Einzelkernmaschinen, dann ist die Anzahl der Aufgaben 60 (gleich der Anzahl der Partitionen). Warum ist das vorteilhaft gegenüber einer einzelnen Partition pro Kern und 20 Aufgaben?

Zusätzlich habe ich ein Experiment ausgeführt, bei dem ich die Anzahl der Partitionen auf 2 festgelegt habe. Die UI zeigt 2 Aufgaben an, die gleichzeitig ausgeführt werden. Was mich jedoch überrascht hat, ist, dass es Instanzen nach Abschluss von Aufgaben wechselt, z. node1 und node2 erledigen die ersten beiden Aufgaben, dann tun node6 und node8 den nächsten Satz von zwei Aufgaben usw. Ich dachte, die Anzahl der Partitionen auf weniger als die Kerne (und Instanzen) in einem Cluster festzulegen, dann würde das Programm nur das Minimum verwenden Anzahl der erforderlichen Instanzen Kann jemand dieses Verhalten erklären?

Answer 1

Für die erste Frage: Sie möchten vielleicht mehr granulare Aufgaben als unbedingt notwendig, um weniger in den Speicher gleichzeitig zu laden. Außerdem kann es bei der Fehlertoleranz helfen, da im Fehlerfall weniger Arbeit erneuert werden muss. Es ist dennoch ein Parameter. Im Allgemeinen hängt die Antwort von der Art der Auslastung ab (IO-gebunden, speichergebunden, CPU-gebunden).

Wie für die zweite, ich glaube, Version 1.3 verfügt über Code zum dynamischen Abfragen von Ressourcen. Ich bin mir nicht sicher, in welcher Version die Pause ist, aber ältere Versionen verlangen nur die genauen Ressourcen, mit denen Sie Ihren Treiber konfigurieren. Um herauszufinden, wie sich eine Partition von einem Knoten zu einem anderen bewegt, wird AFAIK die Daten für eine Aufgabe von dem Knoten auswählen, der eine lokale Kopie dieser Daten auf HDFS hat. Da hdfs mehrere Kopien (standardmäßig 3) jedes Datenblocks enthält, gibt es mehrere Optionen, um ein bestimmtes Stück auszuführen.