Pandas Dataframe iterativ auf effiziente Weise hinzufügen

Question

Ich versuche, einige Pandas Dataframe, die ich aus einer Reihe von CSV-Dateien zu lesen, und nach der 16. Datei oder so bekomme ich einen Speicherfehler. Die neuen Dateien sind Pandas mit etwa 300.000 Zeilen.

Gibt es eine Möglichkeit, dies auf der Festplatte (z. B. mit hdf5) oder auf eine speicher effizientere Weise zu tun?

Siehe Code unten. Beachten Sie, dass sum_of_all_files als leerer Datenrahmen beginnt.

sum_of_all_files = pd.DataFrame() 
for file_name in list_of_files: 
    file_df=pd.read_csv(file_name,index_col=0,header=None).dropna() 
    sum_of_all_files=sum_of_all_files.add(file_df,fill_value=0, axis='index') 

Vielen Dank!

BEARBEITEN: Ich möchte nach Index, d. H. Wenn zwei Zeilen den gleichen Index haben, fügen Sie sie hinzu. Ich habe den obigen Code korrigiert, indem ich "axis = 'index'" in der letzten Zeile hinzufüge.

Answer 1

Sie können concat mit sum verwenden:

files = glob.glob('files/*.csv') 

dfs = [pd.read_csv(file_name,index_col=0,header=None).dropna() for file_name in files] 
df = pd.concat(dfs).sum() 
print (df) 

Answer 2

UPDATE: ich würde zu Ihrer Lösung fügen Sie einfach alle CSVs in Stücke zu lesen. Ich glaube, Sie werden es schon sehr gut in Bezug auf die Speichereinsparung zu tun ...

sum_of_all_files = pd.DataFrame() 
for file_name in list_of_files: 
    for file_df in pd.read_csv(file_name, index_col=0, header=None, chunksize=10**5) 
     sum_of_all_files = sum_of_all_files.add(file_df.dropna(), fill_value=0, axis='index') 

ALTE Antwort:

Idee: wir erste Datei in total DF lesen und dann werden wir lesen eine Datei in jedem Iterationsschritt beginnend mit der zweiten Datei in Ihrem list_of_files und fügen Sie es im laufenden Betrieb an die total DF

PS können Sie weiter gehen und lesen Sie jede CSV-Dateien in Chunks, wenn es riesige fi sind les, die nicht in den Speicher passen:

total = pd.read_csv(list_of_files[0], index_col=0, header=None).dropna() 

for f in list_of_files[1:]: 
    for chunk in pd.read_csv(f,index_col=0,header=None, chunksize=10**5): 
     total = total.add(chunk.dropna(), fill_value=0, axis='index')