Kann read_csv nur bestimmte Zeilen lesen?

Question

Ich habe eine CSV-Datei, die wie folgt aussieht:

TEST 
2012-05-01 00:00:00.203 ON 1 
2012-05-01 00:00:11.203 OFF 0 
2012-05-01 00:00:22.203 ON 1 
2012-05-01 00:00:33.203 OFF 0 
2012-05-01 00:00:44.203 OFF 0 
TEST 
2012-05-02 00:00:00.203 OFF 0 
2012-05-02 00:00:11.203 OFF 0 
2012-05-02 00:00:22.203 OFF 0 
2012-05-02 00:00:33.203 OFF 0 
2012-05-02 00:00:44.203 ON 1 
2012-05-02 00:00:55.203 OFF 0 

und kann nicht loswerden der "TEST" String.

Ist es möglich zu überprüfen, ob eine Zeile mit einem Datum beginnt und nur diejenigen liest, die das tun?

Answer 1

from cStringIO import StringIO 
import pandas 

s = StringIO() 
with open('file.csv') as f: 
    for line in f: 
     if not line.startswith('TEST'): 
      s.write(line) 
s.seek(0) # "rewind" to the beginning of the StringIO object 

pandas.read_csv(s) # with further parameters… 

Answer 2

Wenn Sie erhalten die row vom csv.reader, und wenn Sie sicher sein können, dass das erste Element ein String ist, dann können Sie

if not row[0].startswith('TEST'): 
    process(row) 

Answer 3

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.io.parsers.read_csv.html?highlight=read_csv#pandas.io.parsers.read_csv

skiprows verwenden: list-like oder integer Zeilennummern überspringen (0-indexiert) oder die Anzahl der Zeilen überspringen (int)

Übergeben Sie [0, 6], um Zeilen mit "TEST" zu überspringen.

Answer 4

Eine weitere Option, da ich in dieses Problem nur lief auch:

import pandas as pd 
import subprocess 
grep = subprocess.check_output(['grep', '-n', '^TITLE', filename]).splitlines() 
bad_lines = [int(s[:s.index(':')]) - 1 for s in grep] 
df = pd.read_csv(filename, skiprows=bad_lines) 

Es ist weniger tragbar als @ eumiro ist (sprich: wahrscheinlich unter Windows nicht funktioniert) und erfordert die Datei zweimal zu lesen, hat aber den Vorteil, dass Sie nicht den gesamten Dateiinhalt im Speicher ablegen müssen.

Sie könnten natürlich das gleiche wie das Grep in Python tun, aber es wäre wahrscheinlich langsamer.