Filereader api auf große Dateien

Question

Meine Dateileser api-Code wurde, bis eines Tages so weit gute Arbeit habe ich eine 280MB txt-Datei von einem meiner Kunden. Seite stürzt gerade in Chrome ab und in Firefox passiert nichts.

Was ich oben zu tun versuche ist, dass die erste Zeile zu brechen, so dass ich die Spaltenlänge der Datei erhalten kann. Sollte ich es nicht als Text lesen? Wie kann ich die Spaltenlänge der Datei erhalten, ohne die Seite bei großen Dateien zu unterbrechen?

Answer 1

Ihre Anwendung schlägt bei großen Dateien fehl, weil Sie die gesamte Datei vor der Verarbeitung im Speicher lesen. Diese Ineffizienz kann durch Streaming der Datei (Lesen von Chunks einer kleinen Größe) gelöst werden, so dass Sie nur einen Teil der Datei im Speicher halten müssen.

Eine File Objekte ist auch eine Instanz von Blob, die die .slice Methode bietet, um eine kleinere Ansicht der Datei zu erstellen.

Hier ist ein Beispiel, das davon ausgeht, dass die Eingabe ASCII ist (demo: http://jsfiddle.net/mw99v8d4/).

function findColumnLength(file, callback) { 
    // 1 KB at a time, because we expect that the column will probably small. 
    var CHUNK_SIZE = 1024; 
    var offset = 0; 
    var fr = new FileReader(); 
    fr.onload = function() { 
     var view = new Uint8Array(fr.result); 
     for (var i = 0; i < view.length; ++i) { 
      if (view[i] === 10 || view[i] === 13) { 
       // \n = 10 and \r = 13 
       // column length = offset + position of \r or \n 
       callback(offset + i); 
       return; 
      } 
     } 
     // \r or \n not found, continue seeking. 
     offset += CHUNK_SIZE; 
     seek(); 
    }; 
    fr.onerror = function() { 
     // Cannot read file... Do something, e.g. assume column size = 0. 
     callback(0); 
    }; 
    seek(); 

    function seek() { 
     if (offset >= file.size) { 
      // No \r or \n found. The column size is equal to the full 
      // file size 
      callback(file.size); 
      return; 
     } 
     var slice = file.slice(offset, offset + CHUNK_SIZE); 
     fr.readAsArrayBuffer(slice); 
    } 
} 

Das vorherige Snippet zählt die Anzahl der Bytes vor einem Zeilenumbruch. Das Zählen der Anzahl der Zeichen in einem Text, der aus Multibyte-Zeichen besteht, ist etwas schwieriger, weil Sie die Möglichkeit berücksichtigen müssen, dass das letzte Byte im Chunk Teil eines Multibyte-Zeichens sein könnte.