eine Reihe von CSV mit Python zu entfernen, wenn die Daten nicht in einer Spalte aufgezeichnet wurden

Question

Ich versuche, eine Charge von CSV sind in PostgreSQL zu importieren und ständig mit fehlenden Daten in ein Problem laufen:

psycopg2.DataError: missing data for column "column_name" CONTEXT:
COPY table_name, line where ever in the CSV that data wasn't
recorded, and here are data values up to the missing column.

Es gibt Es gibt keine Möglichkeit, den kompletten Satz von Daten zeitweise in die Zeile zu schreiben, und ich muss mit den Dateien so umgehen, wie sie sind. Ich versuche, einen Weg zu finden, die Zeile zu entfernen, wenn Daten in keiner Spalte aufgezeichnet wurden. Hier ist, was ich habe:

file_list = glob.glob(path) 

for f in file_list: 
    filename = os.path.basename(f) #get the file name 
    arc_csv = arc_path + filename #path for revised copy of CSV 

    with open(f, 'r') as inp, open(arc_csv, 'wb') as out: 
     writer = csv.writer(out) 
     for line in csv.reader(inp): 
      if "" not in line: #if the row doesn't have any empty fields 
       writer.writerow(line) 

    cursor.execute("COPY table_name FROM %s WITH CSV HEADER DELIMITER ','",(arc_csv,)) 

Answer 1

Sie Pandas verwenden könnten Zeilen mit fehlenden Werten zu entfernen:

import glob, os, pandas 

file_list = glob.glob(path) 

for f in file_list: 
    filename = os.path.basename(f) 
    arc_csv = arc_path + filename 
    data = pandas.read_csv(f, index_col=0) 
    ind = data.apply(lambda x: not pandas.isnull(x.values).any(), axis=1) 
    #^provides an index of all rows with no missing data 
    data[ind].to_csv(arc_csv) # writes the revised data to csv 

Dies könnte jedoch langsam, wenn du bist Arbeiten mit großen Datensätzen.

BEARBEITEN - hinzugefügt index_col=0 als Argument zu pandas.read_csv(), um das hinzugefügte Indexspaltenproblem zu verhindern. Dies verwendet die erste Spalte in der CSV als einen vorhandenen Index. Ersetzen Sie 0 durch die Nummer einer anderen Spalte, wenn Sie Grund haben, die erste Spalte nicht als Index zu verwenden.

Answer 2

Leider Sie nicht Tabellen- oder Spaltennamen parametrieren. Verwenden Sie String-Formatierung, aber stellen Sie sicher, zu validieren/Flucht der Wert richtig:

cursor.execute("COPY table_name FROM {column_name} WITH CSV HEADER DELIMITER ','".format(column_name=arc_csv))