Vermeiden von Ausführungsverzögerungen in Aufgabenwarteschlangen

Question

Wie können Push-Warteschlangentasks nach dem Einreihen so schnell wie möglich zur Ausführung geplant werden?

Müssen wir stattdessen auf Cron-Jobs mit Pull-Warteschlangen zurückgreifen?

Wir sehen regelmäßig sehr lange Verzögerungen (20 Minuten) beim Ausführen von Aufgaben, die in unseren Push-Warteschlangen warten. Wir werden mehr als 6.000 Aufgaben in der Warteschlange sehen, von denen keine ausgeführt und in letzter Minute nicht ausgeführt wird. Dann werden die Tasks endlich ausgeführt und wir bekommen einen großen Burst-Spike, wenn die Warteschlange schnell leer ist.

Als Beispiel sieht eine Warteschlange Definition wie folgt:

<queue> 
    <name>example</name> 
    <target>1</target> 
    <rate>20/s</rate> 
    <bucket-size>40</bucket-size> 
    <max-concurrent-requests>10</max-concurrent-requests> 
    <retry-parameters> 
     <min-backoff-seconds>10</min-backoff-seconds> 
     <max-backoff-seconds>60</max-backoff-seconds> 
     <max-doublings>2</max-doublings> 
    </retry-parameters> 
</queue> 

Answer 1

Verzögerungen können mit beiden Pull-Warteschlangen auftreten und Push-Warteschlangen. Aufgabenwarteschlangen bieten eine zuverlässige Aufgabenausführung, die niemals früher als angefordert, sondern manchmal später erfolgt, beispielsweise beim Failover von einem Rechenzentrum zu einem anderen. Die Planung ist Best-Effort, nicht Echtzeit.