So verhindern Sie, dass Cassandra-Commit-Protokolle Speicherplatz belegen

Question

Ich verwende einen Datastax AMI-Cluster mit zwei Knoten in AWS. Gestern hat Cassandra angefangen, Verbindungen von allem abzulehnen. Die Systemprotokolle zeigten nichts. Nach einer Lot von von Basteln, entdeckte ich, dass die Commit-Protokolle den gesamten Speicherplatz auf dem zugewiesenen Mount gefüllt hatte und dies schien die Verbindungsverweigerung zu verursachen (löschte einige der Commit-Protokolle, neu gestartet und konnte eine Verbindung herstellen).

Ich bin auf DataStax AMI 2.5.1 und 2.1.7 Cassandra

Wenn ich mich entscheide alles von Grund auf neu wischen und neu starten, wie stelle ich sicher, dass dies nicht wieder passiert?

Answer 1

Sie könnten versuchen, die commitlog_total_space_in_mb Einstellung in Ihrem cassandra.yaml zu senken. Der Standardwert ist 8192 MB für 64-Bit-Systeme (er sollte in Ihrer .yaml Datei auskommentiert sein ... Sie müssen ihn bei der Einstellung rückgängig machen). Es ist normalerweise eine gute Idee, dies zu planen, wenn Sie Ihre Festplatte (n) dimensionieren.

Sie können dies überprüfen, indem Sie ein du auf Ihrem commitlog Verzeichnis ausgeführt wird:

$ du -d 1 -h ./commitlog 
8.1G ./commitlog 

Obwohl ein kleineren Protokollspeicher begeht häufige Wallungen (erhöhte Disk-I/O) verursachen, so dass Sie wollen, würden Behalte das im Auge.

Answer 2

Zusätzlich zur Verringerung der Commitlog-Größe, wie von BryceAtNetwork23 vorgeschlagen, wird eine angemessene Lösung, um sicherzustellen, dass es nicht erneut auftritt, eine Überwachung des Festplatten-Setups haben, damit Sie benachrichtigt werden, wenn es voll ist und Zeit zum Handeln/Erhöhen hat die Festplattengröße.

Wenn Sie DataStax verwenden, können Sie in OpsCenter eine entsprechende Warnung einrichten. Habe das nicht selbst in der Cloud benutzt, aber ich kann mir vorstellen, dass es funktionieren würde. Warnungen können durch Klicken auf Warnungen im oberen Banner -> Warnungen verwalten -> Warnung hinzufügen festgelegt werden. Konfigurieren Sie die zu überwachenden Mounts und die Schwellenwerte, die ausgelöst werden sollen.

Oder, ich bin sicher, es gibt bessere Tools zur Überwachung des Speicherplatzes da draußen.