ROLAP spaltenartige Datenbank

Question

Wir haben einen sehr einfachen Anwendungsfall, aber es fällt uns schwer, die beste DB-Lösung zu wählen, die unseren Anforderungen entspricht.

Die Anforderung:

Ein OLAP-DB, die uns Millionen von Datensätzen von verschiedenen Eigenschaften (in Tausend) abfragen kann, und kann einen Primärschlüssel halten. Außerdem muss es beim Hochladen der Daten teilweise schnell sein.

Die Use-Case:

Wir haben eine Benutzer-Datenbank und jeder Benutzer gehört unterschiedliche Eigenschaften. Es gibt bis zu 10k Eigenschaften, jedoch haben die meisten Benutzer weniger als 30 Eigenschaften.

Beispieltabelle:

Benutzer/properties

benutzer1/1,5,10

benutzer2/7,5,9,24,42,1090

user3/9

user4/98,1049,2000

. .

Das ideale Szenario besteht aus einer Speicherdatenbank mit Spalten, in der jede Eigenschaft eine Spalte ist und die Datenbank mehr als 10k Eigenschaften zulässt.

MonetDB passt uns genau richtig, aber es gibt zwei sehr kritische Nachteile:

• Massenlast sehr gering ist, in unseren Tests es uns 5ms hochgeladen pro Datensatz gab. Um 1M Datensätze hochzuladen, würde es mehr als eine Stunde dauern, was sehr langsam ist.
• Bulk-Laden schlägt auf doppelten Primärschlüssel fehl (wir möchten die Eigenschaftswerte auf dem "doppelten Schlüssel" aktualisieren, aber dies ist mit dieser Datenbank nicht möglich).

Wir dachten auch über Druide nach, aber es ist mehr "Ereignis" getrieben. Sie benötigen einen Zeitstempel für den Zeitpunkt, zu dem jede Eigenschaft hinzugefügt wurde. Es ist nicht ausgeschlossen worden, aber es ist nicht die perfekte Passform für das, was wir brauchen.

Ich kann mehr erklären, wenn nötig, jede Anleitung wird wirklich geschätzt werden!

Dank

Answer 1

Es ist unklar, wie Sie Massenladen in die Datenbank. Ein einfacher COPY INTO über eine Tabelle von 100 Spalten und 125M Zeilen dauert nicht mehr als etwa eine halbe Stunde auf einem normalen 4-Core-Desktop und 16G RAM. Siehe z.B. http://homepages.cwi.nl/~mk/ontimeReport

Beachten Sie, dass durch die Einführung von 10K-Spalten für jeden Benutzer alle Werte festgelegt werden. Sie könnten Ihren Datenbankentwurf überdenken und sich mehr auf den Benutzer verlassen: Eigenschafts-Tabellen-Setup.