Übergang zwischen Stateful Service und externer Persistenz in Azure Service Fabric

Question

Der Azure Service Fabric scheint sich auf Szenarien zu konzentrieren, in denen alle Daten in den Arbeitsspeicher passen und die Persistenz als Backing Store verwendet wird. Reliable Services speichern Informationen in Reliable Collections, die eine log-checkpoint system verwenden, in der protokollierte Informationen in den Arbeitsspeicher geschrieben werden. In der Zwischenzeit ist für zuverlässige Akteure der default actor state provider "der von der Service Fabric-Plattform bereitgestellte verteilte Schlüsselwertspeicher". Dies scheint darauf hinzudeuten, dass die gleichen Einschränkungen gelten würden.

Es kann jedoch Situationen geben, in denen man das Service Fabric für "heiße Daten" verwenden möchte, aber "kalte Daten" in eine Art permanenten Speicher schreibt. Was sind Best Practices für die Handhabung dieses Übergangs?

In Orleans scheint dies automatisch mit einem Persistenzspeicher wie Azure-Tabellen behandelt werden. Es scheint jedoch, dass ein Hauptzweck des Service Fabric und der Reliable Collections darin besteht, externe Services zu vermeiden, um die Datenlokalität zu verbessern. Die aktuelle Dokumentation nimmt die Möglichkeit vor, Daten in einen permanenten Speicher für disaster recovery and analytics zu verschieben, diskutiert jedoch nicht die Möglichkeit, Daten zwischen Persistenz-gestützten In-Memory-Aktoren und permanenteren Speicherformen hin- und herzubewegen.

Eine mögliche Antwort ist, dass das Service Fabric dies bereits tut. Vielleicht verfügt ein zuverlässiges Wörterbuch über einen eingebauten Mechanismus zum Umschalten zwischen persistent-gesichertem In-Memory-Speicher und permanentem Speicher.

Oder vielleicht ist die Antwort, dass man das selbst verwalten muss. Ein Ansatz könnte darin bestehen, dass ein Actor nachverfolgen kann, wie "heiß" er ist, und seinen Persistenzspeicher nach Bedarf wechseln. Dies opfert jedoch einen der Vorteile des Actor-Modells, der automatischen Zuweisung und Freigabe von Akteuren. Ebenso können wir regelmäßig Elemente aus dem zuverlässigen Wörterbuch entfernen und sie zu einem anderen Persistenzspeicher hinzufügen und sie dann wieder hinzufügen. Dies erfordert wiederum eine Kenntnis darüber, wann es sinnvoll ist, den Übergang zu machen.

Ein paar Beispiele helfen das kristallisieren kann: „Zimmer“

(1) Nehmen wir an, dass wir ein Multiplayer-Spiel mit vielen verschiedenen implementieren Wir brauchen nicht alle Räume in einem Speicher, aber wir müssen sie in den Speicher verschieben und die lokale Persistenz als Backup verwenden, sobald die Spieler sich ihnen anschließen.

(2) Angenommen, wir implementieren einen anhängigen B-Tree als Teil einer Datenbank. Die Versuchung wäre, jeden B-Tree-Knoten zu einem Stateful-Actor zu machen. Wir möchten, dass heiße B-Bäume im Gedächtnis bleiben, aber natürlich kann der gesamte Index nicht gespeichert werden. Es scheint, dass dies ein Kernszenario ist, das bereits für Dinge wie DocumentDB implementiert ist, aber es ist mir aus der Dokumentation nicht klar, wie man das machen würde.

Eine verwandte Frage, die ich fand, ist here. Diese Frage konzentriert sich jedoch auf die Verwendung von Azure Service Fabric und externen Services. Meine Frage ist, ob es notwendig ist, zwischen ihnen zu wechseln, oder ob Azure Service Fabric bereits alle erforderlichen Fähigkeiten hat.

Answer 1

Der Schlüssel-Wert-Store-State-Provider benötigt nicht erfordern alles im Arbeitsspeicher gehalten werden. Dieser Anbieter speichert den Status aller Akteure auf der lokalen Festplatte und der Status wird auch auf anderen Knoten auf der lokalen Festplatte repliziert. Daher wird der KVS-Shop als beständiges und zuverlässiges Geschäft angesehen.

Zusätzlich wird der Status aktiv Aktoren im Speicher gespeichert. Wenn ein Schauspieler längere Zeit nicht benutzt wurde, wird er deaktiviert und Müll gesammelt. Wenn dies geschieht, wird die In-Memory-Kopie freigegeben und nur die Kopie auf der Festplatte bleibt erhalten. Wenn der Aktor erneut aktiviert wird, wird der Status von der Festplatte abgerufen und verbleibt im Speicher, solange der Aktor aktiv ist.

Auch ist KVS nicht die einzige eingebauten Zustand Anbieter. Wir haben auch den VolatileActorStateProvider (http://azure.microsoft.com/en-gb/documentation/articles/service-fabric-reliable-actors-platform/#actor-state-provider-choices). Dies ist der Statusanbieter, der alles im Speicher hält.

Answer 2

Der KvsActorStateProvider speichert tatsächlich den Akteurstatus in einem KeyValueStore, der eine ähnliche Struktur wie ReliableDictionary hat.

Die erste Frage, die ich stellen würde, ist, ob Sie alten Akteurszustand zum Kühllager verbannen müssen? Die Beschränkung, alles im Speicher zu behalten, beschränkt Sie nicht auf eine Gesamtanzahl von Akteuren, sondern auf eine Gesamtzahl pro Replikat. Sie müssen also zuerst die Partitionierungsstrategie berücksichtigen, damit Ihre Akteure auf mehrere verschiedene Replikate verteilt sind.Wenn Ihre Anforderungen steigen, können Sie dem Cluster weitere Maschinen hinzufügen, und der ServiceFabric koordiniert die Bewegungen der Replikate auf die neuen Maschinen. Weitere Informationen über die Aufteilung des Actor-Dienst finden http://azure.microsoft.com/en-gb/documentation/articles/service-fabric-reliable-actors-platform/

Wenn Sie Kaltlagerung nach einiger Zeit nutzen wollen, dann sind Sie ein paar Optionen. Erstens können Sie Ihre Darsteller mit einer benutzerdefinierten dekorieren, die Ihre eigene Implementierung eines IActorStateProvider zurückgibt, der die Persistenz bei Ihrer Entscheidung verarbeiten kann.

Alternativ können Sie es ganz in Ihrer Schauspieler Umsetzung behandeln. Haken in die Actor Lifecycle und in OnDeactivateAsync, so dass, wenn die Instanz Müll gesammelt ist, oder verwenden Sie eine Actor Reminder für einige bestimmten Zeitpunkt in der Zukunft, um den Zustand und lagern in Kühl wie Blob oder Tabellenspeicher serialise und die State-Eigenschaft null aus. Die ActivateAsync-Überschreibung kann dann verwendet werden, um diesen Status aus dem Offline-Speicher und der Deserialisierung abzurufen.