Kanalspeicher ist beim Start voll

Question

Ich habe Probleme mit dem Flume-Speicherkanal. Ich lief einen Flume-Agent, der den Speicherkanal überflutete und die Logs begannen zu verschütten "Der Kanal ist voll, und kann jetzt keine Daten schreiben. Die Quelle wird es nach 250 Millisekunden erneut versuchen"

So weit so gut. Ich stoppe den Agenten, bearbeite die rune.conf, um die Kapazität zu erhöhen und versuche es erneut. Das Problem ist, dass bereits beim Start Flume schwappt die gleiche Botschaft:

`16/05/14 00:21:48 INFO node.Application: Starting new configuration: 
{ sourceRunners:{s1=EventDrivenSourceRunner: { source:Spool 
    Directory source s1: { spoolDir: /home/vagrant/logs } }} 
    sinkRunners:{kafka-avro-sink2=SinkRunner: { 
    policy:org.apache.flume.sink.DefaultSinkProcessor@63203b59 
    counterGroup:{ name:null counters:{} } }, kafka-avro- 
    sink1=SinkRunner: { 
    policy:org.apache.flume.sink.DefaultSinkProcessor@591882e6 
    counterGroup:{ name:null counters:{} } }} channels: 
    {mem1=org.apache.flume.channel.MemoryChannel{name: mem1}} } 
    16/05/14 00:21:48 INFO node.Application: Starting Channel mem1 
    16/05/14 00:21:48 INFO instrumentation.MonitoredCounterGroup:  
    Monitored counter group for type: CHANNEL, name: mem1: Successfully 
    registered new MBean. 
    16/05/14 00:21:48 INFO instrumentation.MonitoredCounterGroup: 
    Component type: CHANNEL, name: mem1 started 
    16/05/14 00:21:48 INFO node.Application: Starting Sink kafka-avro- 
    sink2 
    16/05/14 00:21:48 INFO node.Application: Starting Sink kafka-avro-sink1 
    16/05/14 00:21:48 INFO node.Application: Starting Source s1 
    16/05/14 00:21:48 INFO source.SpoolDirectorySource: 
    SpoolDirectorySource source starting with directory: 
    /home/vagrant/logs 
    16/05/14 00:21:48 INFO instrumentation.MonitoredCounterGroup: 
    Monitored counter group for type: SOURCE, name: s1: Successfully 
    registered new MBean. 
    16/05/14 00:21:48 INFO instrumentation.MonitoredCounterGroup: 
    Component type: SOURCE, name: s1 started 
    16/05/14 00:21:49 WARN source.SpoolDirectorySource: The channel is 
    full, and cannot write data now. The source will try again after 
    250 milliseconds 
    16/05/14 00:21:49 INFO avro.ReliableSpoolingFileEventReader: Last 
    read was never committed - resetting mark position. 
    16/05/14 00:21:49 WARN source.SpoolDirectorySource: The channel is 
    full, and cannot write data now. The source will try again after 
    500 milliseconds` 

So ist der Kanal bereits voll ist, wenn ich die Agenten starten. Wie kann ich es manuell zurücksetzen oder löschen?

Ich habe stundenlang nach einem ähnlichen Problem vergebens gesucht. Ein leicht aufreizendes Problem ist, dass https://flume.apache.org/ so voller Text ist, dass es im Grunde von Google für so ziemlich alles Gerümpel bezogen wird. So wird zum Beispiel eine Suche nach "Gerinne-Kanal ist immer voll" https://flume.apache.org/ als Nummer-eins-Ergebnis geben.

Answer 1

Scheint, dass Sie nicht genügend Speicher Ihrem Kanal zuweisen können. wo Ihre eingehende Ereignisrate höher ist als der für den Speicherkanal verfügbare Speicher.

versuchen Sie mit wie unten Beispiel: xmx ist Beispiel-Option können Sie allmählich erhöhen und sehen, was ist der beste Wert der Speicherzuweisung auf der Grundlage Ihrer Anzahl von Agenten läuft parlely.

Für Ex:

flume-ng agent -n $agentnumber -c ../../config/conf/ -f ../../config/conf/youragentconf.conf -Xmx3g 

Darüber hinaus müssen Sie auch unter Bezugnahme this Memory channel from Flume Guide andere Konfigurationsparameter in Ihrer Agenten-Konfigurationsdatei überprüfen.