Die relativ knappe Dokumentation zu Kafka 0.8 erwähnt nicht, was das erwartete Verhalten für die Abstimmung bestehender Themen, Partitionen und Replikate auf Brokern ist.Partitionswiederstand bei Maklern in Kafka 0.8
Genauer gesagt, was ist das erwartete Verhalten bei der Ankunft eines Brokers und beim Absturz eines Brokers (Leader oder nicht)?
Danke.
Ich habe diese 2 Fälle vor einer Weile und nicht unter hoher Belastung getestet. Ich habe einen Produzenten, der 10k Nachrichten (nur eine kleine Zeichenfolge) synchron zu einem Thema mit einem Replikationsfaktor von 2 mit 2 Partitionen auf einem Cluster von 2 Brokern sendet. Es gibt 2 Verbraucher. Jede Komponente wird auf einem separaten Computer bereitgestellt. Was habe ich beobachtet, ist:
auf Normalbetrieb: broker 1 Führer auf Partition 1 und Replik auf Partition 2. Broker 2 ist führend auf Partition 2 und Replik auf Partition 1. Bringen Sie einen Makler 3 in Der Cluster löst die Neuverteilung auf Partitionen nicht automatisch aus.
Auf Makler Wiederbelebung (abgestürzt als Neustart): Rebalancing ist für den Hersteller und die Verbraucher transparent. Der Reboot-Broker repliziert zuerst das Protokoll und stellt sich dann selbst zur Verfügung.
Auf Broker abgestürzt (Leiter oder nicht): simuliert durch einen kill -9 auf einem Broker. Der Produzent und die Konsumenten werden eingefroren, bis der ephemere Knoten in ZK des getöteten Brokers abgelaufen ist. Danach werden die Operationen normal fortgesetzt.