kafka-python

0Hitze

1Antwort

Kafka: Unterstützt Kafka den Statusübergang auf Anwendungsebene?

Angenommen, ich habe ein Thema mit 6 Partitionen und 2 Verbraucher wo P1, P2, P3 von C1 verarbeitet und P4, P5, P6 von C2 verarbeitet. Nehmen wir an, Benutzerdaten U1 gehen immer zu P1, U2 zu P2 und s

1Hitze

2Antwort

Python - Schema-lose Apache Avro Datenserialisierung

Ich versuche, serialisierte Nachrichten über einen Kafka-Broker mit Python 2.7 und Apache Avro (Python-Client) auszutauschen. Ich würde gerne wissen, ob es eine Möglichkeit gibt, Nachrichten auszutaus

4Hitze

1Antwort

Keine Broker verfügbar Fehler beim Versuch, eine Verbindung zu Kafka herzustellen

Ich habe ein sehr merkwürdiges Problem, wenn ich versuche, eine lokale Verbindung zu Kafka 0.10.0.0 mit dem Python-Client auf CentOS herzustellen. sind meine Verbindungsoptionen ziemlich einfach und S

3Hitze

1Antwort

Erstellen Sie einen Kafka Broker-Cluster mit Apache Kafka 0.10.0 API mit Java

Ich möchte einen Broker-Cluster mit Kafka 0.10 API vorzugsweise mit Java erstellen. Soweit ich kafka_2.11-0.10.0.0.jar unterstützen die Schaffung Broker gelesen haben: import kafka.cluster.Broker; im

1Hitze

1Antwort

Python-Kafka Producer Timeout in der uwsgi Python App

Ich habe ein Problem mit meinem Kafka-Server zu kommunizieren, wenn meine Kolben-Anwendung mit uwsgi/nginx läuft. Wenn ich die Anwendung mit Python auf der Kommandozeile starte, geht alles gut durch.

1Hitze

3Antwort

NoBrokersVerfügbar: NoBrokersAvailable-Kafka Fehler

Ich habe bereits begonnen, Kafka zu lernen. Grundlegende Operationen darauf versuchen. Ich bin auf einen Punkt gestoßen, der über die "Broker" spricht. Mein Kafka läuft, aber wenn ich eine Partition e

6Hitze

4Antwort

Kafka Consumer - Umfrageverhalten

Ich habe einige ernste Probleme, eine Lösung für meine Bedürfnisse zu implementieren, in Bezug auf KafkaConsumer (> = 0.9). Stellen wir uns vor, ich habe eine Funktion, die nur n Nachrichten von einem

-1Hitze

2Antwort

Speichert Apache Kafka die Nachrichten intern in HDFS oder einem anderen Dateisystem

Wir haben eine Projektanforderung, die Daten bei Kafka Layer zu testen. So bewegen sich JSON-Dateien in den Hadoop-Bereich und kafka liest die Live-Daten in hadoop (Raw Json File). Nun muss ich testen

1Hitze

1Antwort

kafka-python raisen kafka.errors.ConsumerFetchSizeTooSmall

Ich schreibe einen einfachen Code in Python 2.7, der Messaging von einem Apache Kafka Thema verbraucht. Der Code ist die folgende: from kafka import SimpleConsumer,KafkaClient group = "my_group_test"

0Hitze

1Antwort

pyspark ist nicht in der Lage KafkaUtils.createDirectStream zu finden

Ich habe folgendes pyspark Skript, das zu einem lokalen kafka Cluster verbinden annehmen: from pyspark import SparkConf, SparkContext from operator import add import sys from pyspark.streaming imp