1

Im Frühjahr Cloud Dataflow Dokument, gibt es einige Erwähnung von 'Dead Letter Queue', die für Ausnahmen in der Nachrichtenverarbeitung verwendet werden kann. Aber dazu habe ich nirgends mehr gefunden. Ich versuche, eine Kafka gebundene Dead Letter Queue in meiner Verarbeitungspipeline zu konfigurieren.So konfigurieren Sie Kafka gebundene Dead Letter Queue im Frühjahr Cloud Datenfluss

Kann mir jemand helfen oder auf Dokumentation verweisen, um mehr darüber zu verstehen?

Antwort

0

Kafka Consumer und die unterstützten Overrides werden erklärt here. Sie müssten das boolesche Flag enableDlq aktivieren.

In Ihrer Stream-Definition konnten Sie auf der Consumer-Anwendungsebene optional DLQs konfigurieren und die erforderlichen Eigenschaften zum Zeitpunkt der Stream-Bereitstellung bereitstellen.

Datenfluß:> Stream foo --definition erstellen "http | log"

Datenfluß:> Strom --properties foo bereitstellen „app.http.spring.cloud.stream.bindings.output.destination = Test, app.log.spring.cloud.stream.bindings.input.destination = Test, app.log.spring.cloud.stream.kafka.bindings.test.consumer.enableDlq = true“

Hier sind wir überschreiben explizit die channelName zu "testen", so dass wir es bei der Consumer (log) -Anwendung verwenden und DLQ-Flag aktivieren können.

+0

Danke Shabby, es hat geholfen. Schäbig, ich versuche, einen weiteren Gedanken mit Ihnen zu validieren - ich plane, einzelne DLQ für 4 - 5 Schritt Datenfluss-Pipeline zu konfigurieren, dh. "Prozessor | zwei Prozessoren | drei | log". Ich frage mich nur, wenn ich Ausnahme-Nachricht in DLQ, kann ich einige Header oder andere Informationen wie von welcher Prozessor Nachricht kommt zur Nachricht kommen. –