Ausführen von zwei Versionen von Apache Spark im Cluster-Modus

Question

Ich möchte Spark 2.0 und Spark 1.6.1 im Cluster-Modus auf einem einzelnen Cluster ausführen können, um Ressourcen gemeinsam nutzen zu können. Was sind die besten Verfahren dafür? Dies liegt daran, dass ich eine bestimmte Gruppe von Anwendungen vor Codeänderungen schützen kann, die sich auf 1.6.1 und andere auf Spark 2.0 stützen.

Grundsätzlich könnte sich der Cluster auf die dynamische Zuweisung für Spark 2.0 stützen, aber vielleicht nicht für 1.6.1 - das ist flexibel.

Answer 1

Durch die Verwendung von Docker ist es möglich, dass Sie verschiedene Versionen der Spark-Anwendung ausführen können, da Docker die Anwendung in Isolation ausführt.

Docker ist eine offene Plattform für die Entwicklung, den Versand und den Betrieb von Anwendungen. . Mit Docker können Sie Ihre Anwendungen von Ihrer Infrastruktur trennen und Ihre Infrastruktur wie eine verwaltete Anwendung behandeln.

Industries adoptieren Docker, da es diese Flexibilität bieten verschiedene Version Anwendung in einem einzigen Nussschalen und viele mehr

Mesos auch

Docker Container mit Marathon laufen zu lassen laufen

Weitere Informationen entnehmen Sie bitte https://www.docker.com/ https://mesosphere.github.io/marathon/docs/native-docker.html

Hope this !!! hilft ....