Lesen und Parsen einer TSV-Datei, dann Bearbeiten zum Speichern als CSV (* effizient *)

Question

Meine Quelldaten sind in einer TSV-Datei, 6 Spalten und mehr als 2 Millionen Zeilen.

Hier ist, was ich versuche zu erreichen:

1. Ich brauche die Daten in 3 der Spalten zu lesen (3, 4, 5) in dieser Quelldatei
2. Die fünfte Spalte eine ganze Zahl . Ich muss diesen ganzzahligen Wert verwenden, um einen Zeileneintrag mit den Daten in der dritten und vierten Spalte zu duplizieren (durch die Anzahl der Ganzzahl-Zeiten).
3. Ich möchte die Ausgabe von # 2 in eine Ausgabedatei im CSV-Format schreiben.

Unten ist, was ich gefunden habe.

Meine Frage: Ist das ein effizienter Weg? Es scheint, als könnte es intensiv sein, wenn es auf 2 Millionen Zeilen versucht wird.

Zuerst machte ich eine Beispiel-Registerkarte separate Datei, um damit zu arbeiten, und nannte es "sample.txt". Es ist einfach und hat nur vier Zeilen:

Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6 
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6 
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6 
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6 

dann habe ich diesen Code:

import csv 

with open('sample.txt','r') as tsv: 
    AoA = [line.strip().split('\t') for line in tsv] 

for a in AoA: 
    count = int(a[4]) 
    while count > 0: 
     with open('sample_new.csv','ab') as csvfile: 
      csvwriter = csv.writer(csvfile, delimiter=',') 
      csvwriter.writerow([a[2], a[3]]) 
     count = count - 1 

Answer 1

Sie sollten das csv Modul verwenden Sie die Registerkarte Separated Value-Datei zu lesen. Do nicht lesen Sie es auf einmal in den Speicher. Jede Zeile, die Sie lesen, enthält alle Informationen, die Sie zum Schreiben von Zeilen in die Ausgabe-CSV-Datei benötigen. Halten Sie die Ausgabedatei durchgehend offen.

import csv 

with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout: 
    tsvin = csv.reader(tsvin, delimiter='\t') 
    csvout = csv.writer(csvout) 

    for row in tsvin: 
     count = int(row[4]) 
     if count > 0: 
      csvout.writerows([row[2:4] for _ in xrange(count)]) 

oder unter Verwendung des itertools Modul der Wiederholung mit itertools.repeat() zu tun:

from itertools import repeat 
import csv 

with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout: 
    tsvin = csv.reader(tsvin, delimiter='\t') 
    csvout = csv.writer(csvout) 

    for row in tsvin: 
     count = int(row[4]) 
     if count > 0: 
      csvout.writerows(repeat(row[2:4], count))