Entfernen Unicode Zeichen Python

Question

Ich ziehe Tweets in Python mit Hilfe von Tweepy. Es gibt die gesamten Daten im Typ Unicode. ZB: Druckart (Daten) gibt mir <type 'unicode'>

Es enthält Unicode-Zeichen in ihm. ZB: hello\u2026 im am fine\u2019s

Ich möchte alle diese Unicode-Zeichen entfernen. Gibt es einen regulären Ausdruck, den ich benutzen kann? str.replace ist keine praktikable Option, da Unicode-Zeichen beliebige Werte annehmen können, von Smileys bis zu Unicode-Apostrophen.

Answer 1

In [10]: from unicodedata import normalize 

In [11]: out_text = normalize('NFKD', input_text).encode('ascii','ignore') 

Versuchen Sie dies.

bearbeiten

normalisieren Eigentlich für die Unicode-String UNISTR die normale Form Form zurück. Gültige Werte für das Formular sind "NFC", "NFKC", "NFD" und "NFKD". Wenn Sie mehr über NFKD wana link

In [12]: u = unichr(40960) + u'abcd' + unichr(1972) 
In [13]: u.encode('utf-8') 
Out[13]: '\xea\x80\x80abcd\xde\xb4' 
In [14]: u 
Out[14]: u'\ua000abcd\u07b4' 
In [16]: u.encode('ascii', 'ignore') 
Out[16]: 'abcd' 

Aus dem obigen Code zu diesem gehen Sie bekommen, was encode('ascii','ignore') tut.

Ref: https://docs.python.org/2/library/unicodedata.html#unicodedata.normalize