In R, wie überschleifen Sie die Zeilen eines Datenrahmens wirklich schnell?

Question

Angenommen, Sie haben einen Datenrahmen mit vielen Zeilen und vielen Spalten.

Die Spalten haben Namen. Sie möchten auf Zeilen nach Nummer und Spalten nach Namen zugreifen.

Zum Beispiel ist ein (möglicherweise langsam) Weg über die Zeilen-Schleife ist

for (i in 1:nrow(df)) { 
    print(df[i, "column1"]) 
    # do more things with the data frame... 
} 

Ein anderer Weg „Listen“ für die separaten Spalten zu erzeugen, ist (wie column1_list = df[["column1"]) und die Listen in einer Schleife zuzugreifen. Dieser Ansatz ist zwar schnell, aber auch unpraktisch, wenn Sie auf viele Spalten zugreifen möchten.

Gibt es eine schnelle Möglichkeit, die Zeilen eines Datenrahmens zu durchlaufen? Ist eine andere Datenstruktur besser für eine schnelle Schleife geeignet?

Answer 1

Ich denke, ich muss dies eine vollständige Antwort machen, weil ich Kommentare schwerer zu verfolgen finde und ich habe bereits einen Kommentar zu diesem Thema verloren ... Es gibt ein Beispiel von nullglob, das die Unterschiede zwischen zeigt und viele Familienfunktionen anwenden besser als andere Beispiele. Wenn man die Funktion so ausführt, dass sie sehr langsam ist, dann wird die ganze Geschwindigkeit verbraucht und man findet keine Unterschiede zwischen den Variationen der Schleifen. Aber wenn Sie die Funktion trivial machen, können Sie sehen, wie sehr die Schleifen die Dinge beeinflussen.

Ich möchte auch hinzufügen, dass einige Mitglieder der Anwendungsfamilie, die in anderen Beispielen unerforscht sind, interessante Leistungseigenschaften haben. Zuerst zeige ich Replikationen der relativen Ergebnisse von Nullglob auf meinem Rechner.

n <- 1e6 
system.time(for(i in 1:n) sinI[i] <- sin(i)) 
    user system elapsed 
5.721 0.028 5.712 

lapply runs much faster for the same result 
system.time(sinI <- lapply(1:n,sin)) 
    user system elapsed 
    1.353 0.012 1.361 

Er fand auch sapply viel langsamer. Hier sind einige andere, die nicht getestet wurden.

Plain alter zu einer Matrix Version der Daten gilt ...

mat <- matrix(1:n,ncol =1),1,sin) 
system.time(sinI <- apply(mat,1,sin)) 
    user system elapsed 
    8.478 0.116 8.531 

Also, die apply() Befehl selbst ist wesentlich langsamer als die for-Schleife. (For-Schleife wird nicht verlangsamt deutlich, wenn ich sin verwenden (mat [i, 1]).

eine andere, die nicht in anderen Beiträgen getestet zu sein scheint ist tapply.

system.time(sinI <- tapply(1:n, 1:n, sin)) 
    user system elapsed 
12.908 0.266 13.589 

Natürlich man würde niemals tapply auf diese Weise verwenden, und sein Nutzen liegt in den meisten Fällen weit über einem solchen Geschwindigkeitsproblem

Answer 2

Der schnellste Weg ist nicht Schleife (d. H. Vektorisierte Operationen). Einer der einzigen Fälle, in denen Sie eine Schleife ausführen müssen, ist, wenn Abhängigkeiten vorhanden sind (d. H. Eine Iteration hängt von einer anderen ab). Versuchen Sie andernfalls, so viel vektorisierte Berechnung wie möglich außerhalb der Schleife auszuführen.

Wenn Sie Notwendigkeit Schleife tun , dann eine for Schleife ist im Wesentlichen so schnell wie irgend etwas anderes (lapply etwas schneller sein können, aber other apply functions tend to be around the same speed as for).

Answer 3

Ausnutzen der Tatsache, dass data.frames im Wesentlichen Listen von Spaltenvektoren sind, kann man do.call verwenden, um eine Funktion anzuwenden mit der Anzahl der Spalten über jeder Spalte des data.frames (ähnlich einem "Zippen" über eine Liste in anderen Sprachen).

do.call(paste, data.frame(x=c(1,2), z=c("a","b"), z=c(5,6)))