kafka-consumer-api

0Hitze

2Antwort

AssertionError: Nicht zugeordnete Partition

Im Versuch, Daten von einem Thema zu verbrauchen durch die Offset-Einstellung aber Assertionsfehler erhalten - from kafka import KafkaConsumer consumer = KafkaConsumer('foobar1', bootstrap

7Hitze

2Antwort

SBT kann nicht importieren Kafka Encoder/Decoder Klassen

Projekt-Setup: 1 Produzent - serialises Objekte & Bytes Kafka 1 Funken Verbraucher sendet - sollte DefaultDecoder in Paket kafka.serializer verwenden zu konsumieren Bytes Ausgabe: SBT importiert korre

0Hitze

1Antwort

Kafka immer ein Verbraucher konsumieren die Thema Nachricht in einer Gruppe

Ich habe zwei Consumer-Server mit der gleichen Gruppen-ID abonniert das gleiche Thema. Ein Kafka-Server läuft mit nur einer Partition. Soweit ich weiß, sollte die Nachricht nach dem Zufallsprinzip auf

2Hitze

1Antwort

Kafka Partition Rebalancing (Zuordnung) dauert zu viel Zeit

Wir verwenden Kafka Cluster mit 3 Servern, alle von ihnen haben auch Tierpfleger. Wir haben 7 Themen mit jeweils 6 Partitionen. Wir haben 3 Java-Konsumenten für jedes Thema. Wenn ich den Consumer star

2Hitze

1Antwort

WARN Fehler beim Abrufen von Metadaten mit der Korrelations-ID 1: {MY_TOPIC? = INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient)

Wenn ich den folgenden Befehl mit kafka 0.9.0.1 ausführe, erhalte ich diese Warnungen [1]. Kannst du mir bitte sagen, was mit meinen Themen falsch ist? (Ich rede mit dem kafka Broker, die in EC2 läuft

8Hitze

2Antwort

Kafka wirft java.nio.channels.ClosedChannelException

Wenn ich versuche, Nachrichten von der kafka-Server, die in ec2 gehostet wird mit Kafka-Konsole-Tool (V 0.9.0.1, ich denke, dass dies alte Consumer APIs verwendet) bekomme ich folgende Ausnahme . Wie

0Hitze

1Antwort

kafka verschiebt Migration von lokaler Datenbank nach kafka

Wir haben versucht, von kafka 0.8 auf 0.9 zu aktualisieren, und wir möchten das kafka consumer offset management als Teil von 0.9 nutzen. Bisher speicherten wir die Offsets in der Datenbank und schrie

4Hitze

2Antwort

Kafka Topic Partition und Spark Executor Mapping

Ich benutze Spark Streaming mit Kafka Thema. Thema wird mit 5 Partitionen erstellt. Alle meine Nachrichten werden unter Verwendung von Tabellenname als Schlüssel im kafka-Thema veröffentlicht. Gegeben

2Hitze

1Antwort

So geben Sie eine Consumer-Gruppe in Kafka Spark an Streaming mit direktem Stream

So geben Sie die Consumer-Gruppen-ID für das Kafka-Spark-Streaming mithilfe der Direct Stream-API an. obwohl ich die Konfiguration nicht sicher angegeben habe, wenn etwas fehlt. mit spark1.3 kafkaPara

1Hitze

1Antwort

Verwenden von Kafka-Knoten in Bluemix und Node-Red

Ich versuche Nachrichten in einer Bluemix-Node-Red-App mit einem Kafka-Eingangsknoten (node-red-contrib-kafka-node) zu konsumieren. Ich habe einen Nachrichten-Hub-Dienst, der an meine App gebunden ist