Storm und Redis

Question

Ich versuche, ein Problem mit Echtzeitanalysen zu lösen. Ich möchte Werte in Echtzeit berechnen. Ich empfange Streaming-Daten und verarbeite sie mit Kafka und Storm und schreibe sie schließlich an Redis. Jetzt möchte ich alle in Redis gespeicherten Daten wieder in Storm schieben/ziehen, um weitere Berechnungen damit durchzuführen. Das Problem ist, das muss jede Minute wiederholt werden. Also müssen jede Minute alle Werte von Redis gezogen/geschoben und berechnet werden. Ich weiß nicht, ob dies der richtige Weg ist, um mein Problem zu lösen, aber ich brauche eine Art Cache. Hast du Empfehlungen?

Vielen Dank im Voraus.

Grüße

Answer 1

können Sie Druide stattdessen verwenden. Das speichert Werte in kafka und verwendet storm, um Werte einzufügen. Es ist spaltenbasierter Speicher und speziell für Echtzeitanalysen ausgelegt. Redis ist schnell, aber Sie können nicht alle analytischen Anforderungen mit redis erreichen, um eine einfache Gruppierung zu erreichen oder nach Abfragen zu sortieren, die Sie benötigen, um Ihre eigene Implementierungslogik zu schreiben, während druid speziell dafür entwickelt wurde.

http://druid.io/

Hoffnung, das hilft.