Speichern Sie Streaming-Daten - schnell, günstig, zuverlässig und gut für den Massenverbrauch

Question

Ich habe einen (Spring-Boot) Web-Service, der eine JSON-Antwort für jede Anfrage generiert. Diese Antwort muss, während sie an den anfragenden Benutzer zurückgegeben wird, auch irgendwo archiviert werden (damit wir wissen, was wir mit dem Benutzer beantwortet haben).

Der Dienst muss 4.000 Anfragen/Sekunde unterstützen. Daher brauchen wir eine schnelle Archivierungsmethode. Die archivierten Daten würden später von einem Map-Reduce-Job (Batch) verbraucht werden.

Ich möchte wissen, welche Lösung zu verwenden - Kafka, S3, oder jede andere Lösung. Der Service wurde in AWS bereitgestellt. Daher sind Lösungen innerhalb von AWS ideal.

Die Anforderungen sind wie folgt:

• Writes sollte schnell 94K req/s zumindest).
• Schreibvorgänge sollten nicht blockierend sein (so dass die Serviceantwortzeit nicht beeinflusst wird).
• Lesevorgänge müssen nicht schnell sein, sollten aber für Map-Reduction-Jobs geeignet sein.
• Daten sollten widerstandsfähig gegen Serverabstürze usw. sein.
• Sollte nicht zu teuer zum Schreiben/Speichern und Lesen sein.

Es gibt keine data retirement plan, d.h. die Daten müssen bis zum Ende der Zeit bestehen bleiben.

Welche Lösungen empfehlen Sie?

Answer 1

Einige Ihrer Anforderungen wie "sollte nicht zu teuer sein" sind ein wenig vage. Am Ende müssen Sie einen Service gegen alle Ihre genauen Anforderungen selbst auswerten.

Angesichts dieser Qualifikation würde ich in das Streaming der Daten an Kenesis mit dem Ziel der Archivierung der Daten zu S3 schauen. Ich empfehle this blog post von AWS, um eine Vorstellung davon zu bekommen, wie dies zu erreichen ist.