Wir verwenden Hbase schon seit einiger Zeit. Das Problem, mit dem wir konfrontiert werden, ist die Scan + Filterleistung. Wir haben einen bekannten Ansatz mit einem Spaltenspeicher mit Schlüssel/Wert verwendet, der einen zusammengesetzten Zeilenschlüssel darstellt, der die meisten Ihrer Abfragefilter darstellt. z.B. customerid|calmonth|transactionid|productid|itemid. Der Benutzer darf mehrere Kalendermonate, Transaktionen, Produkte und Artikel gleichzeitig abfragen. Da die Daten in hbase ist unser Ansatz natürlich sortiert wurde entweder von folgenden gewesen:NoSql-Datenbank zum effizienten Scannen mehrerer Composite-Rowkeys
- Scan basierend auf StartRow und EndRow die
customerid|startmonthumfassen undcustomerid|endmonthbeenden. Holen Sie sich alle Daten im Server und wenden Sie den Rest der Filter in App-Server - Scan basierend auf Starrow und Entrow, die
customerid|startmonthund Endecustomerid|endmonthenthalten. Wenden Sie auch ColumnValueFilter an, da wir auch einige Filterwerte als CQs speichern.
Beide oben genannten Ansatz ist jetzt nicht skalieren. SCAN ist unser einziger Anwendungsfall. Es ist nur Lesetisch. Ich weiß, ich kann Hbase ein RowFilter mit RegEx-Komparator versuchen, aber ich frage mich, ob es eine andere NoSQL-Option gibt, die dies natürlich angeht. h. eine baumartige Struktur für einen Zeilenschlüssel aufweisen und, was wichtig ist, mehrere Zweige parallel durchlaufen kann, so dass sie nicht an Leistung leidet. Ich schaue mir eine Datenbank wie neo4j an, aber ich bin mir nicht sicher, ob das die richtige Wahl ist.
Wie viele Zeilen haben Sie pro customer_id | Monat? Wenn Sie eine Menge haben, ist es ein Flaschenhals, diese von hbase auf Ihren App-Server zu bringen. – halil
Es ist wirklich. Es ist 10 bis 100 Tausende von je nach Abfrage. Ich kann sicherlich verschiedene Arbeitslasten identifizieren und unterschiedliche Verarbeitungen und/oder Speicher für diese durchführen – nir