Benötigen Sie ein verteiltes Key-Value-Lookup-System

Question

Ich brauche eine Möglichkeit, Schlüssel-Wert-Lookups über (potenziell) Hunderte von GB Daten zu tun. Idealerweise etwas basierend auf einer verteilten Hashtabelle, die gut zu Java passt. Es sollte fehlertolerant und Open Source sein.

Der Speicher sollte persistent sein, würde aber im Idealfall Daten im Speicher zwischenspeichern, um die Dinge zu beschleunigen.

Es sollte in der Lage sein, gleichzeitiges Lesen und Schreiben von mehreren Maschinen zu unterstützen (Lesevorgänge werden jedoch 100X häufiger). Im Grunde besteht der Zweck darin, eine schnelle anfängliche Suche nach Benutzermetadaten für einen Web-Service durchzuführen.

Kann jemand etwas empfehlen?

Answer 1

Sie möchten vielleicht Hazelcast auschecken. Es ist verteilt/partitioniert, super lite, einfach und kostenlos.

java.util.Map map = Hazelcast.getMap ("mymap"); 
map.put ("key1", "value1"); 

Grüße,

-talip

Answer 2

Sie sollten wahrscheinlich angeben, ob sie im Speicher persistent oder nicht, sein muss oder nicht, etc. Sie könnten versuchen: http://www.danga.com/memcached/

Answer 3

DNS die Fähigkeit, dies zu tun, ich weiß nicht, wie groß jeder Ihrer Aufzeichnungen ist (8 GB Tonnen von kleinen Daten?), aber es kann funktionieren.

Answer 4

Open Chord ist eine Implementierung des Protokolls CHORD in Java. Es ist ein verteiltes Hash-Tabellenprotokoll, das perfekt zu Ihren Anforderungen passt.

Answer 5

Verteilte Hashtabellen umfassen Tapestry, Chord und Pastry. Einer davon sollte Ihren Bedürfnissen entsprechen.

Answer 6

OpenChord klingt vielversprechend; aber ich würde auch BDB oder jede andere Nicht-SQL-Hashtabelle in Betracht ziehen, so dass es dead-easy sein kann (wenn die Anzahl der Speicherknoten zumindest (fast) konstant ist), hasse einfach den Schlüssel auf dem Client, um zu erhalten der passende Server.

Answer 7

Open Source Cache Solutions in Java

Oracle Coherence

JCache JSR

Answer 8

auf den Anwendungsfall (Tangosol verwendet werden soll) kann je nach Terracotta nur sein, was Sie brauchen.

Answer 9

nmdb klingt wie es genau das ist, was Sie brauchen. Verteilt im Arbeitsspeicher-Cache mit einem persistenten Festplattenspeicher. Aktuelle Back-Ends enthalten Qdbm, berkeley db und (vor kurzem nach einer kurzen E-Mail an den Entwickler hinzugefügt) tokyo cabinet. Schlüssel/Wert-Größe ist zwar begrenzt, aber ich glaube, dass kann aufgehoben werden, wenn Sie keine TICP-Unterstützung benötigen.

Answer 10

Versuchen Map-Struktur von Redisson verteilt, es auf Redis Server basiert. Mit der Redis Cluster-Konfiguration können Sie Daten auf 1000 Server aufteilen.

Anwendungsbeispiel:

Redisson redisson = Redisson.create(); 

ConcurrentMap<String, SomeObject> map = redisson.getMap("anyMap"); 
map.put("123", new SomeObject()); 
map.putIfAbsent("323", new SomeObject()); 
map.remove("123"); 

... 

redisson.shutdown();