Python tokenization UnicodeDecodeError

Question

Ich versuche, einige Dokumente zu zerlegen, aber ich habe diesen Fehler

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 6: ordinal not in range(128)

import nltk 
import pandas as pd 

df = pd.DataFrame(pd.read_csv('status2.csv')) 
documents = df['status'] 

result = [nltk.word_tokenize(sent) for sent in documents] 

Ich denke, es ist das Unicode-Problem ist so ich

documents = unicode(documents, 'utf-8') 

ein weiterer Fehler

hinzugefügt

TypeError: coercing to Unicode: need string or buffer, Series found

print documents 

1  Brandon Cachia ,All I know is that,you're so n... 
2  Melissa Zejtunija:HAM AND CHEESE BIEX INI??? *... 
3       .........Where is my mind????? 
4  Having a philosophical discussion with Trudy D... 

Answer 1

unicode arbeitet mit Strings oder Bytes, aber documents ist eine Pandas-Serie.

Vielleicht:

result = [nltk.word_tokenize(unicode(sent, 'utf-8')) for sent in documents]