2016-04-06 16 views
8

Wenn ich versuche, Nachrichten von der kafka-Server, die in ec2 gehostet wird mit Kafka-Konsole-Tool (V 0.9.0.1, ich denke, dass dies alte Consumer APIs verwendet) bekomme ich folgende Ausnahme . Wie kann ich das überwinden? .Kafka wirft java.nio.channels.ClosedChannelException

#/kafka-console-consumer.sh --zookeeper zookeeper1.xx.com:2181 --topic MY_TOPIC --from-Anfang

[2016-04-06 14:34:58,219] WARN Fetching topic metadata with correlation id 0 for topics [Set(MY_TOPIC)] from broker [BrokerEndPoint(1014,kafka3.xx.com,9092)] failed (kafka.client.ClientUtils$) 
java.nio.channels.ClosedChannelException 
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) 
    at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75) 
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:74) 
    at kafka.producer.SyncProducer.send(SyncProducer.scala:119) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:59) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:94) 
    at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66) 
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63) 
[2016-04-06 14:34:58,222] WARN Fetching topic metadata with correlation id 0 for topics [Set(MY_TOPIC)] from broker [BrokerEndPoint(1013,kafka22.xx.com,9092)] failed (kafka.client.ClientUtils$) 
java.nio.channels.ClosedChannelException 
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) 
    at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75) 
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:74) 
    at kafka.producer.SyncProducer.send(SyncProducer.scala:119) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:59) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:94) 
    at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66) 
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63) 
[2016- 

Antwort

5

Der Grund für die ursprüngliche Ausnahme geschlossenen Kanal ist, ich habe einige DNS-Problem hatte, was ich meine lokalen Rechner gelöst haben Datei

+1

Vielen Dank für Hinweis. Ich hatte das gleiche Problem für eine Weile sowohl in meinem Centos und Windows 10. Sobald ich'hosts' Datei in beiden Maschinen behoben Fehler verschwunden! – johnshumon

1

Dies ist eigentlich eine Warnung - keine große Deal. Kann dein Thema beschädigt sein? Versuchen Sie das Thema neu zu erstellen.

+0

bearbeite ich glaube nicht, für alle Themen gibt es gleiche Art Problem pls einen Blick http://stackoverflow.com/questions/36442668/failed-to-add-leader-for-partitions-in-kafka – Ratha

+0

Ich stoße auf mehrere Probleme mit neuen Verbraucher, es geht Endlosschleife ohne Polling-Nachrichten. Also, Ersticken mit älteren Consumer-APIs (die Consumer-Konsole Tools mit der Kafka-Distribution) und jetzt angegeben, um diese Art geschlossen Kanal Probleme – Ratha

+0

Hier sind einige Probleme, die ich Gesicht http://stackoverflow.com/questions/36393867/if-my- Produzent-Produzieren-dann-warum-der-Verbraucher-könnte-nicht-es-stecken-polig http://stackoverflow.com/questions/36439818/warn-error-while-fetching-metadata-with-correlation-id-1 -my-topic-invalid-zu – Ratha