Lesen von CSV in Python Pandas und Umgang mit schlechten Werten

Ich benutze Pandas, um eine CSV-Datei zu lesen. Die Daten sind Zahlen, aber in der CSV-Datei als Text gespeichert. Einige der Werte sind nicht numerisch, wenn sie fehlerhaft sind oder fehlen. Wie filtere ich diese Werte heraus und konvertiere die restlichen Daten in Ganzzahlen.Lesen von CSV in Python Pandas und Umgang mit schlechten Werten

Ich gehe davon aus, dass es einen besseren/schnelleren Weg gibt, als alle Werte zu durchlaufen und isdigit() zu verwenden, um zu testen, ob sie numerisch sind.

Haben Pandas oder Numpy eine Möglichkeit, schlechte Werte im Lesegerät zu erkennen? Wenn nicht, was ist der einfachste Weg? Muss ich die dtypes spezifisch festlegen, um diese Arbeit zu machen?

Quelle

2012-03-29 Dave31415

pandas.read_csv hat den Parameter na_values:

na_values : list-like, default None 
    List of additional strings to recognize as NA/NaN

, wo Sie diese schlechten Werte definieren können.

Quelle

2012-03-30 10:54:02 eumiro

Großartig. Das scheint genau das zu sein, wonach ich gesucht habe. – Dave31415

Gibt es eine Möglichkeit, na_values zu verwenden, wenn die Zeichenfolge spaltenabhängig ist? Zum Beispiel habe ich einige Spalten, in denen negative Werte schlecht sind, aber andere, wo sie in Ordnung sind. – Shawn

Nein @Shawn. Im Idealfall können Sie nicht na_values für jede Spalte anders durchführen. Die Verarbeitung negativer Werte sollte während der Datenvorverarbeitung/-reinigung erfolgen – JKC

NumPy bietet die Funktion genfromtxt() speziell für diesen Zweck. Der erste Satz aus der verknüpften Dokumentation:

Laden Sie Daten aus einer Textdatei, wobei die fehlenden Werte wie angegeben behandelt werden.

Quelle

2012-03-29 14:45:40

Ok, danke. Ich dachte, Pandas sollte ein Add-On auf höherer Ebene sein. Ich habe diese Funktionalität dort erwartet. Also einfach das verwenden und in einen Datenrahmen umwandeln? – Dave31415

@ Dave31415: Ich weiß nicht genau, wie Ihre Daten aussehen, aber das ist der Ansatz, den ich zuerst versuchen würde. –

Wenn 'pandas.read_csv' nicht das tut, was Sie brauchen, erstellen Sie ein Problem auf GitHub: http://github.com/pydata/pandas/issues –

Sie können eine benutzerdefinierte Liste von Werten übergeben, die als fehlend behandelt werden sollen, indem Sie pandas.read_csv verwenden. Alternativ können Sie Funktionen an das Argument converters übergeben.

Quelle

2012-03-29 14:55:21

Lesen von CSV in Python Pandas und Umgang mit schlechten Werten

Antwort

Verwandte Themen