Von Anfang an ein Kafka-Thema mit Fink konsumieren

Question

Wie stelle ich sicher, dass ich immer von Anfang an ein Kafka-Thema mit Flink konsumiere?

Mit dem Kafka 0.9.x consumer, die Teil Flink 1.0.2 ist, scheint es, dass es nicht mehr Kafka aber Flink ist der Versatz zu steuern:

Flink Snapshots die Offsets intern als Teil seiner verteilten Checkpoints. Die Offsets, die an Kafka/ZooKeeper übergeben wurden, dienen nur dazu, die Außenansicht des Fortschritts synchron mit Flink's Ansicht des Fortschritts zu bringen. Auf diese Weise können Überwachungs- und andere Jobs eine Ansicht anzeigen, wie weit der Flink Kafka-Consumer ein Thema verbraucht hat.

Dies ist, wie weit ich habe, aber mein Flink Programm immer dort beginnt, wo er aufgehört hat, und kehrt nicht zurück an den Anfang, wie die Konfiguration es anweist:

val props = new Properties() 
props.setProperty("bootstrap.servers", "localhost:9092"); 
props.setProperty("group.id", "myflinkservice") 
props.setProperty("auto.offset.reset", "earliest") 

val incomingData = env.addSource(
    new FlinkKafkaConsumer09[IncomingDataRecord](
    "my.topic.name", 
    new IncomingDataSchema, 
    props 
) 
) 

Answer 1

ich glaube, Sie können dies umgehen, indem eine zufällige group.id Angabe:

val props = new Properties() 
props.setProperty("bootstrap.servers", "localhost:9092"); 
props.setProperty("group.id", s"myflinkservice_${UUID.randomUUID}") 
props.setProperty("auto.offset.reset", "smallest") // "smallest", not "earliest" 

auto.offset.reset funktioniert nur, wenn kein Anfangs es in ZooKeeper Offset zur Verfügung.