NLTK und Spracherkennung

Question

Wie erkenne ich, in welcher Sprache ein Text mit NLTK geschrieben wurde?

Die Beispiele, die ich gesehen habe, verwenden nltk.detect, aber wenn ich es auf meinem Mac installiert habe, kann ich dieses Paket nicht finden.

Answer 1

Kennen Sie den folgenden Codeausschnitt?

english_vocab = set(w.lower() for w in nltk.corpus.words.words()) 
text_vocab = set(w.lower() for w in text if w.lower().isalpha()) 
unusual = text_vocab.difference(english_vocab) 

von http://groups.google.com/group/nltk-users/browse_thread/thread/a5f52af2cbc4cfeb?pli=1&safe=active

Oder der folgenden Demo-Datei?

https://web.archive.org/web/20120202055535/http://code.google.com/p/nltk/source/browse/trunk/nltk_contrib/nltk_contrib/misc/langid.py

Answer 2

Obwohl dies nicht in der NLTK ist, ich habe gute Ergebnisse mit einer anderen Python-basierten Bibliothek hatte:

https://github.com/saffsd/langid.py

Dies ist sehr einfach zu importieren und enthält eine große Anzahl von Sprachen in seinem Modell.

Answer 3

Diese Bibliothek ist zwar nicht von NLTK, hilft aber sicherlich.

sudo $ pip installieren langdetect

Unterstützte Python-Versionen 2.6, 2.7, 3.x.

>>> from langdetect import detect 

>>> detect("War doesn't show who's right, just who's left.") 
'en' 
>>> detect("Ein, zwei, drei, vier") 
'de' 

https://pypi.python.org/pypi/langdetect?

P. S .: dies richtig immer Erwarten Sie nicht arbeiten:

obwohl

>>> detect("today is a good day") 
'so' 
>>> detect("today is a good day.") 
'so' 
>>> detect("la vita e bella!") 
'it' 
>>> detect("khoobi? khoshi?") 
'so' 
>>> detect("wow") 
'pl' 
>>> detect("what a day") 
'en' 
>>> detect("yay!") 
'so'