Wie speichert man einen Pandas DataFrame als HDFS PyTables-Tabelle (oder CArray, EArray, etc.)?

Question

Ich habe folgende Pandas Datenrahmen:

import pandas as pd 
df = pd.read_csv(filename.csv) 

Jetzt kann ich HDFStore verwenden, um das df Objekt zu schreiben in einer Datei (wie das Hinzufügen von Schlüssel-Wert-Paaren zu einem Python-Wörterbuch):

store = HDFStore('store.h5') 
store['df'] = df 

http://pandas.pydata.org/pandas-docs/stable/io.html Wenn ich mir den Inhalt anschaue, ist dieses Objekt ein frame.

store 

Ausgänge

<class 'pandas.io.pytables.HDFStore'> 
File path: store.h5 
/df   frame  (shape->[552,23252]) 

Um jedoch Indizierung zu verwenden, sollte man diesen Speicher als table Objekt.

Mein Ansatz war HDFStore.put() heißt

HDFStore.put(key="store.h", value=df, format=Table) 

jedoch zu versuchen, dies nicht gelingt mit dem Fehler:

TypeError: put() missing 1 required positional argument: 'self' 

Wie kann man Pandas Dataframes als PyTables Tabellen speichern?

Answer 1

gemeinsamen Teil - öffnen oder neu anlegen bestehende HDFStore Datei:

store = pd.HDFStore('store.h5') 

die Sie interessieren, wenn Sie alle Spalten indiziert haben wollen:

store.append('key_name', df, data_columns=True) 

oder diese Option, wenn Sie nur indiziert haben wollen eine Untergruppe von Spalten:

store.append('key_name', df, data_columns=['colA','colC','colN']) 

PS HDFStore.append() spart DFs standardmäßig in table Format

Answer 2

How does one save Pandas Dataframes as PyTables tables?

auf die akzeptierte Antwort hinzufügen, sollten Sie immer die PyTable Datei schließen. Aus praktischen Gründen stellt Pandas den HDFStore als Kontextmanager zur Verfügung:

with pd.HDFStore('/path/to/data.hdf') as hdf: 
    hdf.put(key="store.h", value=df, format='table', data_columns=True)