Haben mehrere Funken, die auf Garn laufen, irgendwelche Auswirkungen auf einander? z.B. Wenn der Traffic bei einem Streaming-Job zu stark ansteigt, hat das Auswirkungen auf den zweiten Job? Wird es verlangsamen oder irgendwelche anderen Folgen?Haben mehrere Funkenanwendungen, die auf Garn laufen, irgendwelche Auswirkungen auf einander?
Ich habe genug Ressourcen für beide Anwendungen gleichzeitig ausgeführt werden.
Ja, das tun sie. Je nachdem, wie Ihr Scheduler eingerichtet ist (statisch vs. dynamisch), teilen sie entweder nur die Netzwerkausgabe (wichtig für Shuffles) und den Datendurchsatz (wichtig für Shuffle, lokales Einlesen von Daten oder auf HDFS, Wegschreiben von Daten lokal oder auf HDFS) oder auch der Speicher und CPUs, wenn es auf dynamische Zuordnung ist. Das parallele Ausführen von zwei Jobs im Gegensatz zu sequenziell wird jedoch aufgrund der nicht ständig verwendeten Netzwerk- und Datenträgerressourcen im Durchschnitt von Vorteil sein. Dies hängt hauptsächlich davon ab, wie viel Sie in Ihren Jobs mischen müssen.
Wie führen Sie mehrere Jobs aus? Sind "Spark Applications" (im Titel) die "multiple spark jobs" (im Körper)? Gehören sie zur selben Anwendung? Verwenden sie dieselbe Warteschlange? Werden die Jobs nacheinander (seriell) oder in separaten Threads ausgeführt? Antworten auf die Fragen sind wichtig, um mit der Antwort präzise zu sein (und kurz gefasst zu sein). –