Warum der Unterschied in der Geschwindigkeit, um Gruppen in Pandas zu bekommen

Question

Warum der Unterschied in der Leistung auf diese drei Methoden, um Gruppen aus einem 32m Zeile Datenrahmen in Pandas zu bekommen.

df = df.groupby(["a", "b", "c"]).groups 

df = df.groupby(["a", "b", "c"]).count() 
df = df.index 

df = df.groupby(["a", "b", "c"]).count() 
df = df.drop(df.columns, axis=1).reset_index() 

Die letzte Methode dauert < 10 Sekunden. Ich gab es auf, auf die anderen beiden zu warten.

EDIT: hinzugefügt die eckigen Klammern, die verpasst wurden.

Answer 1

Eine mögliche Lösung ist hinzuzufügen sort=False-groupby (auch [] hinzufügen):

df = df.groupby(["a", "b", "c"], sort=False).groups 

Docs:

Art: boolean, default Wahr

Sortieren Gruppenschlüssel. Erzielen Sie eine bessere Leistung, indem Sie diese deaktivieren. Beachten Sie, dass dies die Reihenfolge der Beobachtungen innerhalb jeder Gruppe nicht beeinflusst. groupby bewahrt die Reihenfolge von Zeilen in jeder Gruppe

andere Lösung verwendet dask ist:

Geschickter parallelisierbaren Operationen (schnell):

groupby-Aggregat (mit gemeinsamen Aggregationen):

df.groupby (d.f.x) .y.max()
df.groupby ('x'). Max()