Wir laufen 6 Knoten-Cluster mit:kann nicht DSE beginnen SPARK_ENABLED = 1
HADOOP_ENABLED=0
SOLR_ENABLED=0
SPARK_ENABLED=0
CFS_ENABLED=0
Nun würden wir Spark alle von ihnen hinzufügen. Es scheint, als wäre das "Hinzufügen" nicht der richtige Ausdruck, denn das würde nicht scheitern. Wie auch immer, die Schritte, die wir getan haben: 1. abgelassen einen der Knoten 2. geändert/etc/default/dse zu SPARK_ENABLED = 1 und HADOOP_ENABLED = 0 3. sudo Service dse Neustart
und bekam die folgende im Protokoll:
ERROR [main] 2016.05.17 11: 51: 12.739 CassandraDaemon.java:294 - Fatal Exception während der Initialisierung org.apache.cassandra.exceptions.ConfigurationException: Start kann nicht der Knoten, wenn Schnatz des Data Center (Analytics) unterscheidet sich von früheren Rechenzentren (Cassandra). Bitte behebe die Snitch-Konfiguration, deaktiviere und rebootstrap diesen Knoten oder verwende das Flag -Dcassandra.ignore_dc = true.
Es zwei verwandte Fragen, die bereits beantwortet wurden:
- Unable to start solr aspect of DSE search
- Two node DSE spark cluster error setting up second node. Why?
Leider auf dem Knoten die Daten zu löschen, ist keine Option - warum sollte ich TU das? Ich brauche die Daten intakt zu sein.
Die Verwendung von "-Dcassandra.ignore_rack = true -Dcassandra.ignore_dc = true" ist ein wenig beängstigend in der Produktion. Ich verstehe nicht, warum DSE einen anderen DC erstellen möchte und warum kann er nicht einfach den bestehenden verwenden?
Ich weiß, dass laut datastax doc die Last mit verschiedenen DC für unterschiedliche Arbeitslasten partitionieren sollte. In unserem Fall möchten wir nur SPARK-Jobs auf denselben Knoten ausführen, die Cassandra mit demselben DC ausführt.
Ist das möglich?
Danke!
Schön, funktionierte wie ein Charme. War ein bisschen skeptisch, den Schnatz zu wechseln, aber es hat geklappt. Vielen Dank! – Pavel
:) Ändern des Snitch in GPFS ist fast immer der richtige Weg, um Prod-Cluster einzurichten. – RussS