R - STDIN Zeile für Zeile lesen

Question

Ich möchte eine große Datentabelle in R LINE BY LINE streamen, und wenn die aktuelle Zeile eine bestimmte Bedingung hat (sagen wir, die ersten Spalten sind> 15), fügen Sie die Zeile zu einem Daten hinzu Rahmen im Speicher. Ich habe folgenden Code geschrieben:

count<-1; 
Mydata<-NULL; 
fin <- FALSE; 
while (!fin){ 
    if (count==1){ 
     Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1); 
     Mydata<-rbind(Mydata,Myrow); 
     count<-count+1; 
    } 
    else { 
     count<-count+1; 
     Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1); 
     if (Myrow!=""){ 
     if (MyCONDITION){ 
      Mydata<-rbind(Mydata,Myrow); 
     } 
     } 
     else 
     {fin<-TRUE} 
    } 
} 
print(Mydata); 

Aber ich bekomme den Fehler "Daten nicht verfügbar". Bitte beachten Sie, dass meine Daten groß sind und ich möchte nicht alles einmal lesen und meine Bedingung (in diesem Fall war es einfach) anwenden.

Answer 1

Ich denke, es wäre klüger, eine R-Funktion wie readLines zu verwenden. readLines unterstützt nur das Lesen einer bestimmten Anzahl von Zeilen, z.B. 1. Kombiniere das mit dem Öffnen einer file Verbindung zuerst, und dann ruft readLines wiederholt Sie, was Sie wollen. Beim mehrmaligen Aufruf von readLines werden die nächsten n Zeilen aus der Verbindung gelesen. In R-Code:

stop = FALSE 
f = file("/tmp/test.txt", "r") 
while(!stop) { 
    next_line = readLines(f, n = 1) 
    ## Insert some if statement logic here 
    if(length(next_line) == 0) { 
    stop = TRUE 
    close(f) 
    } 
} 

Bemerkungen:

• R verfügt über einen internen Weg stdin als Datei zur Behandlung von: stdin(). Ich schlage vor, dass Sie dies anstelle von pipe('cat /dev/stdin') verwenden. Dies macht es wahrscheinlich robuster und definitiv plattformübergreifender.
• Sie initialisieren Mydata am Anfang und wachsen weiter mit rbind. Wenn die Anzahl der Zeilen, die Sie rbind größer wird, wird dies wirklich langsam. Dies hat mit der Tatsache zu tun, dass das Betriebssystem, wenn das Objekt wächst, einen neuen Speicherort für es finden muss, der am Ende viel Zeit ist. Besser ist die Vorbelegung von MyData oder die Verwendung von Style-Loops.