Datenbank mit höchster Performance in Java

Question

Ich brauche Ideen, um eine (wirklich) hochleistungsfähige In-Memory-Datenbank/Speichermechanismus in Java zu implementieren. Im Bereich der Speicherung von mehr als 20.000 Java-Objekten, alle 5 Sekunden aktualisiert.
Einige Optionen Ich bin offen für:

reine JDBC/Datenbank Kombination

JDO

JPA/ORM/Datenbank Kombination

einer Objektdatenbank

Andere Speichermechanismen

Was ist meine beste Option? Was sind deine Erfahrungen?

EDIT: Ich brauche auch diese Objekte in der Lage sein möchte Abfrage

Answer 1

Sie könnten versuchen, etwas wie Prevayler (im Grunde ein In-Memory-Cache, Serialisierung und Sicherung für Sie so behandelt, damit Daten persistent und ist Transaktionssicherheit). Es gibt andere ähnliche Projekte. Ich habe es für ein großes Projekt verwendet, es ist sicher und extrem schnell.

Wenn es die gleiche Menge von 20.000 Objekten ist, oder nicht mindestens 20.000 neue Objekte alle 5 Sekunden, aber viele Änderungen, sollten Sie die Änderungen im Cache speichern und die Änderungen regelmäßig im Batch-Modus schreiben (jdbc Batch-Updates sind viel schneller als einzelne Zeilenaktualisierungen). Das hängt davon ab, ob Sie jede Schreiboperation für Transaktionen verwenden müssen und ob Sie eine Aufzeichnung der Änderungsprotokolle benötigen oder nur Änderungen aggregieren müssen.

bearbeiten: wie andere Beiträge Prevayler erwähnt habe ich dachte, dass ich eine Nachricht hinterlassen würde auf, was es tut: Im Grunde erstellen Sie eine durchsuchbare/serialisierbares Objekt (in der Regel eine Karte von einer Art), die in einem Prevayler gewickelt Instanz, die auf Festplatte serialisiert wird. Anstatt Änderungen direkt an Ihrer Map vorzunehmen, nehmen Sie Änderungen vor, indem Sie Ihrer Prevayler-Instanz einen serialisierbaren Datensatz Ihrer Änderung senden (nur ein Objekt, das die Change-Anweisung enthält). Prevaylers Version einer Transaktion besteht darin, Ihre Serialisierungsänderungen auf die Festplatte zu schreiben, so dass sie im Falle eines Fehlers die letzte vollständige Sicherung laden und dann die Änderungen wieder abspielen kann. Es ist sicher, obwohl Sie genügend Speicher haben müssen, um alle Ihre Daten zu laden, und es ist eine ziemlich alte API, also leider keine generischen Schnittstellen. Aber definitiv stabil und funktioniert wie angekündigt.

Answer 2

die folgenden Versuchen, führt es wirklich gut mit Hibernate und anderen ORM-Frameworks

http://hsqldb.org/

Answer 3

Wenn Sie alle speichern möchten Ihrer Daten im Speicher möchten Sie vielleicht Prevayler betrachten.

Ich habe es nie selbst verwendet, aber es scheint eine viel bessere Lösung als die Verwendung einer relationalen Datenbank für die Fälle, in denen alle Ihre Daten im Speicher gespeichert werden können.

Answer 4

Ich weiß nicht, ob es die schnellste Option ist, aber ich war sehr zufrieden mit H2, wann immer ich es benutzt habe. Es wurde von derselben Person geschrieben, die ursprünglich Hypersonic (später HSQLDB) geschrieben hat.

Eine andere Option, die angeblich sehr schnell ist, ist Prevayler.

Answer 5

hsqldb ist ziemlich schnell, aber es ist nicht ACID transaktionssicher. Die schnellste Java-Datenbank, die ich kenne, ist db4o: benchmarks.

Bearbeiten: Bitte beachten Sie, dass Prevayler keine Datenbank ist, siehe http://www.prevayler.org/wiki.jsp?topic=PrevaylerIsNotADatabase. Wenn du keinen RAM mehr hast, hast du kein Glück.

Answer 6

Berkeley DB for Java ist eine schnelle Speicherdatenbank, extrem nützlich für einfache Objektdiagramme.

Answer 7

Terrakotta könnte auch eine Antwort für Sie sein. Es ermöglicht mehreren VMs, Objekte zu teilen, damit Sie Last etc verteilen können ...

Answer 8

Ich empfehle dringend H2. Dies ist eine Art "Second Generation" Version der HSQLDB, die von einem der ursprünglichen Autoren erstellt wurde. H2 ermöglicht uns Unit-Test unserer DAO-Schicht ohne eine tatsächliche PostgreSQL-Datenbank, die genial ist.

Es gibt eine aktive Netzgruppe und Mailingliste, und der Autor Thomas Müller reagiert sehr schnell auf Anfragen (hah, wenig Wortspiel dort.)

Answer 9

Sie können CSQL versuchen (erhältlich unter Open Source und Enterprise-Version) Es bietet eine 30-fache Leistungssteigerung gegenüber plattenbasierten Datenbanksystemen und bietet JDBC-Schnittstelle. Es kann so konfiguriert werden, dass es als eigenständige Hauptspeicherdatenbank oder als transparenter Cache für MySQL-, Postgres- und Oracle-Datenbanken arbeitet.

Answer 10

Sie auch db4o

Answer 11

H2 ist wirklich fantastisch überprüfen können, in der Tat, haben sie im Speicher, normalen Server und Transaktions-, Sie alle. Allerdings vergleicht es nicht in der Leistung mit den Objektdatenbanken, ich sehe Db4o erwähnt, ich hatte tatsächlich viel bessere Leistung mit Neodatis in der Tat, und alles ist schön in Maven-Repositories eingerichtet. Obwohl nicht sehr robust, wie ein Ferrari, schnell, aber kein LKW wie Oracle.

Answer 12

Ich würde versuchen, OrientDB.

Answer 13

Es ist ein bisschen eine alte Frage, aber heutzutage gibt es eine ganze Reihe von Datenbanken, die eine Leistung von 20.000/s haben. Welche Datenbank ausgewählt werden soll, hängt von der Datenstruktur und der Art der Abfragen ab, die Sie vornehmen möchten. Es hängt auch vom Gesamtvolumen ab.

Wir hatten ähnliches Problem mit großen Volumen von Zeitreihendaten, etwa 300.000 rec/s und wir am Ende schreiben eine neue Datenbank NFSdb, mit einfach genug API und anständige Leistung. Es kann etwa 2.000.000 Objektschreibvorgänge durchführen, und wir haben ohne ORM auskommen lassen. Speicher-API sieht ungefähr so ​​aus:

JournalFactory factory = new JournalFactory("/mnt1/data/tick"); 

MyObject o = new MyObject(); 
try (JournalWriter<MyObject> writer = factory.writer(MyObject.class)) { 

    o.setBlah(...); 
    writer.append(o); 

    // more appends here 
    // 
    writer.commit(); 
} 

Answer 14

Chronicle Map ist eine integrierbare reine Java persistente Datenbank, ein einfaches java.util.Map Interface. Es widersteht etwa 1 Million Abfragen/Updates pro Sekunde aus einem einzigen Thread, konsistente Lese-/Schreibleistung und skaliert fast linear auf die Anzahl der Kerne in der Maschine.

Hier sind einige jüngste Performance Forschung mit aktuellen Zahlen:

• Comparison of Jetbrains Xodus, Oracle Berkeley DB JE BTree, MapDB TreeMap, Chronicle Map and H2 MVStore Map
• LmdbJava Benchmarks