Replikation auf Postgresql Pausen, wenn Abfragen und Replikation gleichzeitig stattfinden

Question

Postgress folgt MVCC-Regeln. Daher steht jede Abfrage, die in einer Tabelle ausgeführt wird, nicht in Konflikt mit den Schreibvorgängen, die in der Tabelle ausgeführt werden. Die Abfrage gibt das Ergebnis basierend auf dem Snapshot zum Zeitpunkt der Abfrage zurück.

Jetzt habe ich einen Master und Slave. Der Slave wird von Analysten verwendet, um Abfragen auszuführen und Analysen durchzuführen. Wenn der Slave repliziert und wenn Analytiker ihre Abfragen gleichzeitig ausführen, kann ich die Replikationsverzögerung für eine lange Zeit sehen. Wenn die Abfragen lange ausgeführt werden, ist die Replikation eine lange Dauer und wenn die Anzahl der Schreibvorgänge auf dem Master passiert ziemlich hoch, dann verliere ich die WAL-Dateien und die Replikation kann länger dauern. Ich muss nur einen anderen Sklaven hochbringen. Warum passiert das ? Wie erlaube ich, dass Abfragen und Replikationen gleichzeitig in Haltungen stattfinden? Gibt es eine Parametereinstellung, die ich anwenden kann, um dies zu ermöglichen?

Answer 1

Das Replikat kann nicht mehr WAL vom Master übernehmen, da der Master möglicherweise Datenblöcke überschrieben hat, die noch von Abfragen auf dem Replikat benötigt werden, die älter sind als alle noch auf dem Master ausgeführten. Das Replikat benötigt ältere Zeilenversionen als der Master. Es ist genau weil von MVCC, dass diese Pause notwendig ist.

Sie haben wahrscheinlich eine hohe max_standby_streaming_delay gesetzt, um "canceling statement due to conflict with recovery" errors zu vermeiden.

Wenn Sie hot_standby_feedback einschalten, kann das Replikat dem Master stattdessen mitteilen, dass er diese Zeilen behalten soll. Aber der Master kann den freien Speicherplatz nicht so effizient aufräumen, und es könnte in pg_xlog der Platz knapp werden, wenn der Standby viel zu weit zurückliegt.

Siehe PostgreSQL manual: Handling Query Conflicts.

Wie für die WAL-Retention: Aktivieren Sie die WAL-Archivierung und eine restore_command für Ihre Standbys. Sie sollten es trotzdem für die Wiederherstellung nach Zeitpunkt verwenden. PgBarman macht das jetzt einfach mit dem Befehl barman get-wal. Wenn Sie keine WAL-Archivierung wünschen, können Sie stattdessen Ihre Replikatserver darauf einstellen, einen Replikationssteckplatz für die Verbindung mit dem Master zu verwenden, damit der Master weiß, dass er die WAL, die er benötigt, auf unbestimmte Zeit behält. Das kann natürlich dazu führen, dass der Master in pg_xlog keinen Platz mehr hat und nicht mehr läuft. Sie müssen also genauer überwachen, wenn Sie das tun.