Fehler UNKNOWN_MEMBER_ID aufgetreten, während Offsets für Gruppe xxx

Question

Mit Kafka Client-Java-Bibliothek zu begehen, Protokolle raubend ist seit einiger Zeit gearbeitet, aber mit den folgenden Fehlern es funktioniert nicht mehr:

2016-07-15 19:37:54.609 INFO 4342 --- [main] o.a.k.c.c.internals.AbstractCoordinator : Marking the coordinator 2147483647 dead. 
2016-07-15 19:37:54.933 ERROR 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator : Error UNKNOWN_MEMBER_ID occurred while committing offsets for group logstash 
2016-07-15 19:37:54.933 WARN 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator : Auto offset commit failed: Commit cannot be completed due to group rebalance 
2016-07-15 19:37:54.941 ERROR 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator : Error UNKNOWN_MEMBER_ID occurred while committing offsets for group logstash 
2016-07-15 19:37:54.941 WARN 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator : Auto offset commit failed: 
2016-07-15 19:37:54.948 INFO 4342 --- [main] o.a.k.c.c.internals.AbstractCoordinator : Attempt to join group logstash failed due to unknown member id, resetting and retrying. 

Es hält zurückgesetzt wird.

Beim Ausführen einer anderen Instanz derselben Anwendung werden sofort Fehler angezeigt.

Ich vermute, Kafka oder seine ZooKeeper hat ein Problem, aber es gibt kein Fehlerprotokoll.

Wer hat eine Idee, was hier vor sich geht?

Dies ist die Anwendung Ich verwende: https://github.com/izeye/log-redirector

Answer 1

ich konfrontiert gerade das gleiche Problem. Ich habe untersucht, und in this Thread und in this Wiki können Sie die Lösung finden.

Das Problem scheint zu sein, dass die Verarbeitung eines Stapels länger als das Sitzungszeitlimit dauert. Erhöhen Sie entweder das Sitzungszeitlimit oder die Abfragehäufigkeit oder begrenzen Sie die Anzahl der empfangenen Bytes.

Was für mich funktionierte, war max.partition.fetch.bytes zu ändern. Sie können aber auch session.timeout.ms oder den Wert ändern, den Sie an Ihre consumer.poll(TIMEOUT)

übergeben