2016-05-10 2 views
1

, ich Speicherung Ip-Mapping-Daten in Solr und es ist etwas wie folgt aus:Wie können Bereichsdaten in HBase gespeichert und abgefragt werden? Derzeit

Ip-Aus Ip-To Land

Diese einen einzelnen Datensatz bildet (Dokument). Wenn ich eine IP bekommen als Als Eingabe frage ich Solr nach der Region (Land), zu der es gehört. Die Abfrage ist einfach - ip> = ipFrom und ip < = ipTo. Die Reaktionszeit ist ziemlich niedrig (gut), erfüllt aber immer noch nicht unsere Anforderung. Diese Daten können nicht im Speicher zwischengespeichert werden, da sie sehr groß sind.

Daher dachte ich darüber nach, einen anderen Speicher für diese Art von Daten zu verwenden. Ist HBase geeignet, und wenn ja, was wäre der ideale Weg, solche Daten zu speichern und abzufragen?

Alle Hinweise/Hilfe wäre willkommen. Vielen Dank.

+0

Wie groß sind Ihre Daten? – Whitefret

+0

Rund 2 Millionen Einträge. –

+1

scheint nicht so groß zu mir, Ip-from und Ip-To sind 64 Bit lang max (IPv6) und stellen Sie sich vor, das Land ist etwa 15 Buchstaben. zu Bytes, das würde ungefähr 143 Bytes pro entrie bedeuten, was 286 MB Daten bedeutet ... – Whitefret

Antwort

3

Mein Verständnis: Sie wollen Ip (entweder von oder nach) übergeben und Sie suchen nach Land oder Region spezifisch.

Ja. Sie können Daten in Hbase speichern und mit filters abfragen, wenn Sie Hbase nur als Datenspeicher verwenden möchten.

Nach meiner Erfahrung ist Solr-Suche schneller als Hbase und kann NRT oder Batch-Indexer (falls Sie CDH verwenden) oder ein anderes Werkzeug zum Indexieren von Hbase-Daten verwenden.

Weitere mehr, Whitefret hob die Bedenken (was klingt logisch für mich). zusammen mit ipfrom, ipto und country, wenn Sie etwas anderes in solr speichern dann kann HBase für Sie arbeiten. Andernfalls ist keine Zwischenspeicherung wie bei Hbase erforderlich und Sie müssen Ihre Solr-Konfiguration erneut aufrufen.

+0

Ja, werde einen weiteren Versuch mit Solr geben oder laden (natürlich nach dem Speichern es dort in einer Datei) die Daten von HDFS direkt in den Speicher. Wird mit den Ergebnissen aktualisiert. –

+0

Wenn Sie in Ordnung sind, stimmen Sie bitte "vom Eigentümer akzeptiert" ab. so dass sein Zeiger auf andere Benutzer. –

+0

Endlich in Solr gespeichert, danke. –