So geben Sie die Consumer-Gruppen-ID für das Kafka-Spark-Streaming mithilfe der Direct Stream-API an.So geben Sie eine Consumer-Gruppe in Kafka Spark an Streaming mit direktem Stream
obwohl ich die Konfiguration nicht sicher angegeben habe, wenn etwas fehlt. mit spark1.3
kafkaParams.put("group.id", "app1");
Der direkte Stream-API das niedrige Niveau Kafka-API verwenden und wie so Verbrauchergruppen nicht in irgendeiner Weise verwenden. Wenn Sie Consumer-Gruppen mit Spark Streaming verwenden möchten, müssen Sie die empfängerbasierte API verwenden.
Kann ich die Daten weiterhin mit mehreren Anwendungen mithilfe der Direct Stream-API nutzen? ohne Datenverlust für jede Anwendung? –
Es sollte genau so sein, wie Sie es tun. –
Was meinst du mit 'nicht sicher, wenn etwas fehlt'? Bitte stellen Sie eine spezifische Frage. Etwas wie * Ich habe versucht, X zu erreichen, Y mit der Bibliothek Z, aber die Ausnahme E mit Stacktrace S * ist von StackOverflow geeignet. –
@DebosmitRay Ich versuchte "group.id" mit Spark Kafka Direct Stream, um Consumer-Gruppe anzugeben. Es wird keine Ausnahme angezeigt, aber Sie möchten wissen, ob dies der richtige Weg ist, eine Verbrauchergruppe anzugeben, während Sie die createDirectStream-API-Methode verwenden. Hilft es jetzt ??? –