Kafka-Konfiguration auf bestehende CDH 5.5.2 Cluster

Question

Ich installiere Kafka-2.0 auf meinem vorhandenen CDH 5.5.2 Cluster, hier ist das Verfahren, was ich

1. hinzufügen Dienstleistungen von CM
2. Ausgewählte Kafka folgte (davor habe ich heruntergeladen und verteilt und kafka Paket aktiviert auf allen Knoten)
3. Ausgewählte 1 Knoten für KafkaBroker und 4 Knoten für Kafka MirrorMaker
4. Dann aktualisiert ich mein Ziel Broker List (bootstrap.servers) Eigenschaft mit einem der Spiegel Maker-Knoten sowie Source-Broker-Liste (z. B. urce.bootstrap.servers) mit demselben Knoten

5. Below Fehler Ich erhalte (Protokolldatei)

   Fatal error during KafkaServerStartable startup. Prepare to shutdown 
   java.lang.OutOfMemoryError: Java heap space 
       at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) 
       at java.nio.ByteBuffer.allocate(ByteBuffer.java:331) 
       at kafka.log.SkimpyOffsetMap.<init>(OffsetMap.scala:43) 
       at kafka.log.LogCleaner$CleanerThread.<init>(LogCleaner.scala:186) 
       at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83) 
       at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83) 
       at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) 
       at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) 
       at scala.collection.immutable.Range.foreach(Range.scala:166) 
       at scala.collection.TraversableLike$class.map(TraversableLike.scala:245) 
       at scala.collection.AbstractTraversable.map(Traversable.scala:104) 
       at kafka.log.LogCleaner.<init>(LogCleaner.scala:83) 
       at kafka.log.LogManager.<init>(LogManager.scala:64) 
       at kafka.server.KafkaServer.createLogManager(KafkaServer.scala:601) 
       at kafka.server.KafkaServer.startup(KafkaServer.scala:180) 
       at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:37) 
       at kafka.Kafka$.main(Kafka.scala:67) 
       at com.cloudera.kafka.wrap.Kafka$.main(Kafka.scala:76) 
       at com.cloudera.kafka.wrap.Kafka.main(Kafka.scala) 
   

Answer 1

Der Stack-Trace zeigt "java.lang.OutOfMemoryError: Java Heap-Speicher" - VM-Heap der Platz wird knapp. Erhöhen Sie den Wert um

export KAFKA_HEAP_OPTS="-Xmx1G -Xms512M" 

in /bin/kafka-server-start.sh.

Answer 2

Sie müssen broker_max_heap_size Wert auf mindestens 1GB erhöhen und starten Sie den Kafka-Service von Cloudera Manager. Wenn Sie immer noch das gleiche Problem konfrontiert, versuchen Sie, wie pro Ihre Cluster-Konfigurationen