pytables

5Hitze

1Antwort

Pandas HDFStore Datenrahmen aus dem Speicher entladen

OK Ich experimentiere mit Pandas, um eine 30GB CSV-Datei mit 40 Millionen + Zeilen und 150+ Spalten in HDFStore zu laden. Die Mehrzahl der Spalten sind Strings, gefolgt von Zahlen und Daten. Ich habe

5Hitze

1Antwort

Komprimieren Array mit pytables

Ich versuche, meine Array wie diese import numpy as np import tables from contextlib import closing FILTERS = tables.Filters(complib='zlib', complevel=5) data = np.zeros(10**7) with closing(ta

6Hitze

1Antwort

PyTables gelesen zufällige Teilmenge

Ist es möglich, eine zufällige Teilmenge von Zeilen von HDF5 (über pyTables oder, vorzugsweise Pandas) zu lesen? Ich habe einen sehr großen Datensatz mit Millionen von Zeilen, brauche aber nur ein paa

5Hitze

2Antwort

Unable Datenrahmen zu HDF5 ("Objekt-Header-Nachricht ist zu groß") speichern

Ich habe einen Datenrahmen in Pandas: In [7]: my_df Out[7]: <class 'pandas.core.frame.DataFrame'> Int64Index: 34 entries, 0 to 0 Columns: 2661 entries, airplane to zoo dtypes: float64(2659), obje

20Hitze

1Antwort

Pandas "Group By" Abfrage auf große Daten in HDFStore?

Ich habe etwa 7 Millionen Zeilen in einem HDFStore mit mehr als 60 Spalten. Die Daten sind mehr als ich in den Speicher passen kann. Ich versuche, die Daten in Gruppen basierend auf dem Wert einer Spa

5Hitze

1Antwort

Daten an vorhandene pytables-Tabelle anfügen

Ich bin neu in PyTables und implementiert ein paar grundlegende Techniken zum Einfügen und Abrufen von Daten aus einer Tabelle in Pytables. Ich bin mir jedoch nicht sicher, wie ich Daten in eine vorha

6Hitze

1Antwort

HDFStore: table.select und RAM-Auslastung

Ich versuche, zufällige Zeilen aus einer HDFStore-Tabelle von etwa 1 GB auszuwählen. Die RAM-Nutzung explodiert, wenn ich nach etwa 50 zufälligen Zeilen frage. Ich benutze Pandas 0-11-dev, python 2.7,

10Hitze

3Antwort

PyTables, die mit Daten arbeiten, deren Größe um ein Vielfaches größer ist als die Größe des Speichers

Ich versuche zu verstehen, wie PyTables Daten verwalten, deren Größe größer ist als die Speichergröße. Hier Kommentar in Code von PyTables (link to GitHub): # Nodes referenced by a variable are kept i

11Hitze

2Antwort

Lesen einer großen Tabelle mit Millionen von Zeilen von Oracle und Schreiben in HDF5

Ich arbeite mit einer Oracle-Datenbank mit Millionen von Zeilen und über 100 Spalten. Ich versuche, diese Daten in einer HDF5-Datei unter Verwendung von Pytables mit bestimmten indizierten Spalten zu

5Hitze

1Antwort

Optimierung einer komplexen table.where() Abfrage in Pytables?

Ich habe eine sehr große Datenbank - ich arbeite mit einer Teilmenge, die 350m Reihen ist, aber letztendlich wird es um 3b Reihen sein. Mein gesamtes Ziel ist es, eine bestimmte Art von Abfrage in die