Spring Cloud Datenfluss - Micro Services Deployment

Question

Team, Momentan arbeite ich an Spring-XD und verwende als Laufzeit Container für Datenanalyse und Garn Jobs.

Meine Fragen sind

1) Kann ich die gleiche Umgebung Einrichtung nutzen, die ich für das Frühjahr-xd verwendet?
2) Aus der Dokumentation habe ich gelesen, dass es als Mikro-Dienste bereitgestellt werden kann, ist es mit eingebetteten Treibern für die Stream-Verarbeitung? Wenn es eingebettete Treiber verwendet, kann ich es für die Bereitstellung in einer Clusterumgebung mit der gleichen Infrastruktur wie für Spring-XD verwenden?
3) Gibt es spezielle Wrapper für Apache Spark?

Meine Umwelt: Funke 1.6.1, Hadoop 2.7.2, 3.6.8 zookeeper, redis 3.2, feder xd-1.3.1

Jede Hilfe zu diesen spezifischen Fragen sehr geschätzt werden würde.

Answer 1

Kann ich die gleiche Umgebung verwenden, die ich für Spring-XD verwendet habe?

Frühling Wolke Data Flow (SCDF) stützt sich auf spring-cloud-deployer SPI und es gibt Implementierungen für Cloud Foundry, Apache GARN, Apache Mesos und Kubernetes. Da Sie bereits einen Hadoop-Cluster mit YARN verwenden, können Sie den YARN implementation des SCDF-Servers bereitstellen.

verwendet es eingebettete Treiber für die Stream-Verarbeitung?

Nicht klar, was Sie damit meinen. Wenn Sie sich auf jdbc-Treiber beziehen; speziell, wenn jdbc als eine Senke-Anwendung verwendet wird, wir OSS-freundliche Treiber einbetten, ja.

Wenn es eingebettete Treiber verwendet, kann ich es in einer Clusterumgebung mit der gleichen Infrastruktur für Spring-XD bereitstellen?

Vielleicht Antwort auf # 1 deckt dies ab. Sie könnten die gleiche Infrastruktur nutzen und YARN SCDF-Server mit der Ambari plugin bereitstellen.

Gibt es spezielle Wrapper für Apache Spark?

Wir haben Spark als client und cluster Anwendungen. Sie können register sie in SCDF zum Erstellen von Task/Batch-Pipelines.