beste Möglichkeit, mit großen Datenmengen in Python zu arbeiten

Question

Ich arbeite mit einem großen finanziellen Datensatz (15 GB für jetzt, aber 200 GB später). Was wird der beste Weg sein, damit zu arbeiten? Insbesondere möchte ich einige statistische Tests durchführen und einige Diagramme mit Millisekunden-Daten erstellen. Bis jetzt habe ich sqlite3 für das Schütteln der Leichtigkeit benutzt, aber es scheint nicht in der Lage zu sein, mit der Größe der Datei umzugehen. Ich benutze PyCharm (nicht sicher, ob es hilft)

Answer 1

sqlite ist keine gute Alternative, wenn Sie große Mengen von Daten verwalten möchten (eigentlich würde ich sqlite nicht für etwas anderes als Prototyping oder Tests verwenden).

Sie können versuchen, Amazon RDS zu verwenden, um die Datenbank http://aws.amazon.com/es/rds/ zu speichern und wählen Sie zwischen einer der Datenbank-Engines, die amazon bietet.

Wie für die Verwendung von Python, ich denke, Sie sollten die DB-Engine, um die Anfragen zu behandeln und einfach Python verwenden, um die Grafiken zu erstellen.