pytables

3Hitze

1Antwort

Ich versuche, eine HDF-Datei von 64 GB (komprimiert mit Blosc) mit der Pandas-Bibliothek zu lesen. Der Dataframe enthält 3 Spalten und 11410996915 Zeilen. Ich versuche, konkrete Zeilen nach Index mit

2Hitze

1Antwort

Mit ptrepack gelöschte Knoten in hdf5-Datei

wiederherstellen Ich habe eine Reihe von Pandas DataFrames in eine h5-Datei mit der Python-Integration in Pandas geschrieben. Seitdem habe ich einige der Gruppen in der h5-Datei gelöscht und möchte si

3Hitze

1Antwort

riesige h5-Dateien mit mehreren Datensätzen in einer mit

odo Kombination I aa Reihe von großen (13GB + groß) h5-Dateien, die jeweils h5-Datei hat zwei Datensätze, die mit Pandas erstellt wurden: df.to_hdf('name_of_file_to_save', 'key_1',table=True) df.to_h

0Hitze

1Antwort

Verwenden von PyTables zum Indexieren einer HDF5-Datei mit 500 GB

Ich möchte eine verschlüsselte 500 GB-800 GB-Tabelle in HDF5 speichern und dann Zeilen mit bestimmten Schlüsseln abrufen. Für eine HDF5 Datei, Elemente wie alle Datenzugriff verwenden eine ganze Zahl

2Hitze

2Antwort

Pytables prüfen, ob die Spalte existiert

Kann man Pytables (oder Pandas) verwenden, um zu erkennen, ob die Tabelle einer hdf-Datei eine bestimmte Spalte enthält? Um die hdf Datei zu laden benutze ich: from pandas.io.pytables import HDFStore

3Hitze

2Antwort

GIL für IO begrenzt Gewinde in C-Erweiterung (HDF5)

I eine Probenahme Anwendung haben, die 250,000 Abtastungen pro Sekunde erfasst, puffert sie im Speicher und schließlich zu einer anhängt HDFStore durch pandas vorgesehen. Im Allgemeinen ist das großar

2Hitze

2Antwort

Wie speichert man einen Pandas DataFrame als HDFS PyTables-Tabelle (oder CArray, EArray, etc.)?

Ich habe folgende Pandas Datenrahmen: import pandas as pd df = pd.read_csv(filename.csv) Jetzt kann ich HDFStore verwenden, um das df Objekt zu schreiben in einer Datei (wie das Hinzufügen von Schl

1Hitze

2Antwort

Kann nicht pip die Python-Modul Tabellen installieren

Ich versuche Tabellen zu installieren, damit ein vorhandener Python-Skript nicht beschweren, wenn er versucht zu ‚Import-Tabellen‘ pip install tables Hier ist die Ausgabe: Collecting tables Usi

1Hitze

2Antwort

Speichern Pandas Datenrahmen aus der Liste der dicts als hdf5 Tabelle

Ich habe eine große Pandas Datenrahmen, die ich aus einer Liste von Wörterbüchern erstellen, wo die Spaltennamen die dict Schlüssel sind. Die Spalten enthalten unterschiedliche Datentypen, der Datenty

1Hitze

1Antwort

Beschleunigung der Konvertierung von Zeitstempel zu Datetime Python

Ich arbeite daran, ein Futures-Markt-Tick-Daten-Replay-System mit Python und Pytables mit einem ziemlich großen Datensatz (+ 200 GB) zu machen. Soweit ich das beurteilen kann, können pytables nur nump