Ich bin dabei, ein neues Projekt zu starten, das im Grunde ein Reporting-Tool ist, das eine ziemlich große Datenbank haben sollte.Wie behandelt man sehr große Daten?
Die Anzahl der Tabellen wird nicht groß sein (< 200), die Mehrheit der Daten (80%) wird in 20 Tabellen enthalten sein, alle Daten sind fast einfügen/nur lesen (keine Updates).
Die geschätzte Datenmenge in dieser einen Tabelle wird mit 240.000 Datensätzen pro Minute anwachsen, und wir sollten mindestens 1 bis 3 Jahre Zeit haben, um verschiedene Berichte zu erstellen, und Berichte werden vom Administrator online angezeigt .
Ich habe keine Erfahrung aus erster Hand mit diesen großen Datenbanken, also frage ich diejenigen, die haben, welche DB die beste Wahl in dieser Situation ist. Ich weiß, dass Oracle die sichere Wahl ist, aber ich bin eher daran interessiert, wenn jemand andere Erfahrungen als Datenbanken wie hadoopdb oder Googles großen Tisch hat. bitte führe mich. danke im voraus
Müssen Sie * wirklich * alle Daten behalten? Kannst du es irgendwie aggregieren? Fügen Sie die Rohdaten möglicherweise in Buckets zusammen? 4000 Datensätze pro Sekunde ist ein bisschen verrückt. Wie groß sind deine Aufzeichnungen? –
Für jeden, der direkt auf den Rechner geht, erspare ich Ihnen ein wenig Aufwand: 378,432 Milliarden Datensätze nach 3 Jahren>. < – Corbin
@greg hewgill danke für Ihre Antwort .yes als mein Projektberichterstattungswerkzeug also wenn Benutzer sehen möchten berichten mehr als Jahr dann muss ich diese Daten für mehr als Jahr bis zu 3 Jahren aufbewahren. Ich sammle Daten, aber am Ende aller Berichte zeige ich Daten in der einreihigen Form nicht aggregierten Form. – jenitshah