2013-01-22 6 views
5

Welche Art von Architektur wird benötigt, um 100 TB Daten zu speichern und mit Aggregation abzufragen? Wie viele Knoten? Festplattengröße pro Knoten? Was kann die beste Praxis sein?100 TB Daten auf Mongo DB? Möglich?

Jeden Tag werden 240GB geschrieben, aber die Größe bleibt gleich, weil die gleichen Daten gelöscht werden.

Oder andere Gedanken über die Speicherung der Daten und schnelle Gruppenabfragen?

+0

möglich Duplikat von [MongoDB Limit Speichergröße?] (Http://stackoverflow.com/questions/4327723/mongodb-limit-storage-size) –

+0

Ja, es ist, die damit verbundene Frage ist veraltet seit es gibt Seither waren größere Szenarien auf der Benutzergruppe. – Sammaye

+1

Sie haben dies mit dem Vertica-Tag versehen. Willst du auch Informationen darüber? – geoffrobinson

Antwort

3

Ich empfehle dringend HBase.

Facebook uses it for its Messages Service, der im November 2010 15 Milliarden Nachrichten pro Tag bearbeitet hat.

Wir haben MongoDB für einen großen Datensatz getestet, aber am Ende ging es mit HBase und wir verwenden es seit Monaten glücklich.

+0

Wie haben Sie mit dem Infrastrukturmanagement verfahren? Wir sind ein kleines Startup und haben noch keine Ressourcen, um es bei 100% zu tun. – noli

+1

Sorry, vielleicht verstehe ich nicht - was meinst du mit Infrastrukturmanagement? Sie meinen, den Hadoop/HBase-Cluster zu verwalten? Wir haben Amazon Elastic MapReduce verwendet. – Suman

+0

Das war meine Frage .. Danke! – noli