Ich kann nicht scheinen, einen Weg zu finden, eine Schale mit allen Server in conf/ServerWie starte ich eine Spark-Shell mit allen snappydata Cluster Servern?
nur einstellen, bis zu starten fand es möglich, Cluster-Jobs einreichen /bin/snappy-job.sh mit, wo ich angeben die Führung Lage, möchte aber Echtzeit-Shell, um versuchen einige Tests mit dem gesamten Cluster
Danke,
Saif
sehen Sie bitte diesen Link auszuführen. Es erklärt, wie man eine Spark-Shell startet und sie mit dem Snappy Store verbindet.
Im Wesentlichen müssen Sie die Locator-Eigenschaft zur Verfügung zu stellen und dieser Locator ist das gleiche, die Sie den flotten Cluster starten verwendet haben.
$ bin/spark-shell --master local[*] --conf snappydata.store.locators=locatorhost:port --conf spark.ui.port=4041
Beachten Sie, dass mit dem oben einem anderen Compute-Cluster erstellt wird Ihr Programm auszuführen. Der Snappy-Cluster wird nicht zur Berechnung verwendet, wenn Sie Ihren Code von dieser Shell aus ausführen. Die benötigte Tabellendefinition und Daten werden effizient aus dem Snappy Store abgerufen.
In Zukunft wird diese Shell möglicherweise so mit dem Snappy-Cluster verbunden, dass sie den Snappy-Cluster selbst als Rechencluster verwendet.
Während dies theoretisch die Frage beantworten könnte, [wäre es vorzuziehen] (// meta.stackoverflow.com/q/8259), die wesentlichen Teile der Antwort hier aufzunehmen und den Link als Referenz zur Verfügung zu stellen. –
Yep, realisierte es und redigierte meine Antwort. –
Danke. Selbst wenn der --master lokal [*] ist, verbindet sich die Shell mit dem Funketreiber (Job Server) und nutzt die Servereinstellungen für den Snappy Cluster. Wird jede Funkenaktion alle conf/Server-Hosts für die Berechnung und Datenverteilung nutzen? – Saif