2016-07-01 4 views
0

Ich habe eine Baugrube installieren und zeigte auf meinen Kafka-Server. (1 Broker und 1 Tierpfleger) .Wenn ich anrufe/v2/kafka/kafka1/consumer, ich bekomme die Antwort, keine Verbraucher.Consumer Commit Offsets, aber nicht durch/v2/kafka/(Cluster)/Consumer

d.h {"error": false,"message": "consumer list returned","consumers": [],"request": {"url": "/v2/kafka/local/consumer/","host": "", "cluster": "local","group": "","topic": ""}}

Mein burrow.cfg als

 [general] 
     logdir=burrowlogs 
     logconfig=config/logging.cfg 
     pidfile=burrow.pid 
     client-id=burrow-lagchecker 
     group-blacklist=^(console-consumer-|python-kafka-consumer-).*$ 

     [zookeeper] 
     hostname= 
     port=2181 
     timeout=6 
     lock-path=/burrow/notifier 

     [kafka "local"] 
     broker= 
     broker-port=9092 
     zookeeper= 
     zookeeper-port=2181 
     zookeeper-path=/ 
     offsets-topic=__consumer_offsets 

     [storm "local"] 
     #zookeeper=zkhost01.example.com 
     #zookeeper=zkhost02.example.com 
     #zookeeper=zkhost03.example.com 
     #zookeeper-port=2181 
     #zookeeper-path=/kafka-cluster/stormconsumers 

     [tickers] 
     broker-offsets=60 

     [lagcheck] 
     intervals=10 
     expire-group=604800 

     [httpserver] 
     server=on 
     port=8080 

     [smtp] 
     server=mailserver.example.com 
     port=25 
     [email protected] 
     template=config/default-email.tmpl 

     [email "[email protected]"] 
     group=local,critical-consumer-group 
     group=local,other-consumer-group 
     interval=60 

     [httpnotifier] 
     url=http://notification.server.example.com:9000/v1/alert 
     interval=60 
     extra=app=burrow 
     extra=tier=STG 
     template-post=config/default-http-post.tmpl 
     template-delete=config/default-http-delete.tmpl 
     timeout=5 
     keepalive=30 

     My burrow.out is 

     Started Burrow at June 30, 2016 at 3:07pm (UTC) 
     2016/06/30 15:10:27 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:29 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:38 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:39 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:40 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:41 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:42 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:44 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:45 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:45 http: multiple response.WriteHeader calls 
     2016/06/30 15:10:47 http: multiple response.WriteHeader calls 

gezeigt Ich bin mit Kafka Version 0.10.0.

Mein offset.storage = kafka.

Ich weiß, dass Cluster mit einem Verbraucher verbunden ist und bei der Verarbeitung von Nachrichten. Alle anderen Endpunkte, nicht auf Verbraucherebene, scheinen gut zu funktionieren.

+0

Haben Sie eine Lösung gefunden? Verwenden Sie den alten Verbraucher API? Ich hatte das gleiche Problem, und ich wechselte zu Kafka Consumer und die Verbraucher bezogenen Endpunkte in der Baugrube fing an, Daten anzuzeigen. – lotusdragon

+0

Hallo @lotusdragon Ich bin neu bei Kafka kannst du mir sagen, was kafkaConsumer ist? – Abhimanyu

+0

Sehen Sie sich die neue Verbraucher-API an: http://kafka.apache.org/documentation.html#consumerapi – lotusdragon

Antwort

1

Dieses Problem wurde behoben. Ich muss nur zoekeeper-offset = true in meiner burrow.cfg hinzufügen, das wird das Problem lösen, wenn Sie die Versatzdetails von Kafka-Themen in zookeeeper speichern.