Wie melde ich einen Prozess einer SQLite-Datenbankänderung in einem anderen Prozess?

Question

Angenommen, ich habe zwei oder mehr Prozesse, die sich mit einer SQLite-Datenbank befassen - ein "Player" -Prozess und viele "Editor" -Prozesse.

Der "Player" -Prozess liest die Datenbank und aktualisiert eine Ansicht - in meinem Fall wäre es eine Wellenform, die auf der Soundkarte gemischt wird, abhängig von den in der Datenbank gespeicherten Ereignissen.

Ein "Editor" -Prozess ist jeder Editor für diese Datenbank: er ändert die Datenbank ständig.

Jetzt möchte ich der Spieler die Änderungen der Bearbeitung schnell widerspiegeln.

Ich weiß, dass SQLite Hooks liefert, um Datenbankänderungen innerhalb des gleichen Prozesses zu verfolgen, aber es scheint wenig Informationen darüber zu geben, wie dies mit mehreren Prozessen zu tun ist.

Ich konnte die Datenbank ständig abfragen, Datensätze vergleichen und Ereignisse auslösen, aber das scheint ziemlich ineffizient zu sein, besonders wenn die Datenbank zu groß wird.

Ich denke über die Verwendung einer Protokolltabelle und Trigger, aber ich frage mich, ob es eine einfachere Methode gibt.

Answer 1

Eine relationale Datenbank ist nicht Ihre beste erste Wahl dafür.

Warum?

Sie möchten, dass alle Ihre Editoren Änderungen an Ihrem Player vornehmen.

Ihr Player ist - effektiv - ein Server für alle diese Editoren. Ihr Player benötigt mehrere offene Verbindungen. Es muss all diese Verbindungen auf Veränderungen hören. Es muss diese Änderungen anzeigen.

Wenn die Änderungen wirklich groß sind, können Sie zu einer Hybridlösung wechseln, bei der die Editoren die Änderungen und dem Spieler mitteilen.

In beiden Fällen müssen die Redakteure dem Spieler mitteilen, dass sie eine Änderung haben. Es ist viel, viel einfacher als der Spieler versucht, Änderungen in einer Datenbank zu entdecken.

Ein besseres Design ist ein Server, der Nachrichten von den Redakteuren akzeptiert, sie persistiert und den Player benachrichtigt.Dieser Server ist weder ein Editor noch ein Player, sondern lediglich ein Broker, der sicherstellt, dass alle Nachrichten behandelt werden. Es akzeptiert Verbindungen von Redakteuren und Spielern. Es verwaltet die Datenbank.

Es gibt zwei Implementierungen. Server ist der Spieler. Der Server ist vom Player getrennt. Das Design des Servers ändert sich nicht - nur das Protokoll. Wenn der Server der Player ist, ruft der Server die Player-Objekte direkt auf. Wenn der Server vom Player getrennt ist, schreibt der Server in den Socket des Players.

Wenn der Player Teil des Servers ist, werden Playerobjekte direkt aufgerufen, wenn eine Nachricht von einem Editor empfangen wird. Wenn der Player getrennt ist, sammelt ein kleiner Leser die Nachrichten von einem Sockel und ruft die Spielerobjekte an.

Der Player verbindet sich mit dem Server und wartet dann auf einen Strom von Informationen. Dies kann entweder von den Editoren oder Referenzen auf Daten, die der Server in der Datenbank gespeichert hat, eingegeben werden.

Wenn der Nachrichtenverkehr klein genug ist, damit die Netzwerklatenz kein Problem darstellt, sendet der Editor alle Daten an den Server/Player. Wenn der Nachrichtenverkehr zu groß ist, schreibt der Editor in eine Datenbank und sendet eine Nachricht mit nur einem Datenbank-FK an den Server/Player.

---

Bitte klären Sie "Wenn der Editor bei der Benachrichtigung abstürzt, ist der Spieler dauerhaft vermasselt" in Ihrer Frage.

Das klingt nach einem schlechten Design für den Spieler-Service. Es kann nicht "permanent vermasselt" werden, es sei denn, es wird von den verschiedenen Editoren keine Informationen erhalten. Wenn es einen Status von den Editoren erhält (aber zum Beispiel versucht, diesen Status zu spiegeln), sollten Sie ein Design in Erwägung ziehen, bei dem der Player einfach den Status vom Editor erhält und nicht "permanent durcheinander" kommen kann.

Answer 2

Öffnen Sie einfach einen Socket zwischen den beiden Prozessen und lassen Sie den Editor alle Spieler über das Update informieren.

Answer 3

Edit: Ich nehme Prozesse auf der gleichen Maschine.

Meiner Meinung nach gibt es zwei Möglichkeiten:

• Polling (wie Sie bereits erwähnt), aber es auf einen einzelnen Wert halten (wie eine Tabelle, die die Lastupdatetime von anderen Tabellen nur hält)

• Verwenden Sie die dort verfügbare Interprozess-Kommunikation auf der Zielplattform. Dies können Ereignisse in Windows sein (z. B. in C# (ich weiß nicht in Python), das ManualResetEvent, AutoResetEvent oder ein Mutex, wenn Sie einen Kellner-Thread in jedem Prozess opfern möchten) oder Signals in Linux.

Answer 4

Wenn es auf der gleichen Maschine ist, wäre der einfachste Weg, benannte Pipe zu haben, "player" mit Blockierung von read() und "Editoren" ein Token in Rohr, wenn sie DB ändern.

Answer 5

Wie viele Editorprozesse (warum Prozesse?) Und wie oft erwarten Sie Updates? Dies klingt nicht wie ein gutes Design, vor allem nicht zu berücksichtigen sqlite ist wirklich nicht zu glücklich über mehrere gleichzeitige Zugriffe auf die Datenbank.

Wenn mehrere Prozesse macht Sinn und Sie Ausdauer wollen, wäre es wahrscheinlich klüger, die Redaktion benachrichtigen Sie Ihren Player über Steckdosen, Leitungen zu haben, gemeinsam genutzten Speicher oder dergleichen, und dann den Player (auch bekannt als Server-Prozess) haben mach das Andauern.

Answer 6

Ich denke, in diesem Fall würde ich einen Prozess zur Verwaltung der Datenbank lesen/schreiben.

Jeder Editor, der einige Änderungen an der Datenbank vornehmen möchte, ruft diesen Prozess auf, sei es über IPC oder das Netzwerk oder welche Methode auch immer.

Dieser Prozess kann den Spieler dann über eine Änderung in der Datenbank informieren. Wenn der Spieler einige Daten abrufen möchte, sollte er eine Anforderung der Daten an den Prozess stellen, der die Datenbank verwaltet. (Oder der DB-Prozess teilt ihm mit, was er benötigt, wenn er eine Änderung meldet, also keine Anforderung vom Player benötigt wird)

Dies hat den Vorteil, dass nur ein Prozess auf die SQLite-DB zugreift, also kein Sperren oder Nebenläufigkeitsprobleme in der Datenbank.

Answer 7

SQLite hat eine update_hook Funktion, die das tut, was Sie wollen.

SQLite C-Schnittstelle

Datenänderungsmitteilung Rückrufe

void *sqlite3_update_hook(
    sqlite3*, 
    void(*)(void *,int ,char const *,char const *,sqlite3_int64), 
    void* 
); 

Die sqlite3_update_hook() Schnittstelle registriert eine Callback-Funktion mit die Verbindungsdatenbank durch das erste Argument identifiziert werden aufgerufen, wann immer Eine Zeile wird in einer Rowid-Tabelle aktualisiert, eingefügt oder gelöscht. Jeder Rückruf, der durch einen vorherigen Aufruf dieser Funktion für dieselbe Datenbank Verbindung festgelegt wurde, wird überschrieben.

Leider ist es nicht von der Python SQLite-Modul ausgesetzt ...

Hier ist eine etwas hacky Abhilfe, die die C-api gräbt sich in (von Python-Code) davon Gebrauch zu machen: https://stackoverflow.com/a/16920926