Tokenizing ungeteilter Wörter aus OCR mit NLTK

Question

Ich verwende NLTK, um Text zu verarbeiten, der aus PDF-Dateien extrahiert wird. Ich kann den Text größtenteils intakt wiederherstellen, aber es gibt viele Fälle, in denen Leerzeichen zwischen Wörtern nicht erfasst werden, daher bekomme ich Wörter wie ifI anstelle von if I oder thatposition anstelle von that position oder andhe's statt and he's.

Meine Frage ist das: Wie kann ich NLTK verwenden, um nach Wörtern zu suchen, die es nicht erkennt/nicht gelernt hat, und um zu sehen, ob es "nahegelegene" Wortkombinationen gibt, die wahrscheinlicher sind? Gibt es einen eleganteren Weg, diese Art von Prüfung durchzuführen, als einfach durch das unerkannte Wort zu laufen, ein Zeichen nach dem anderen, es zu teilen und zu sehen, ob es zwei erkennbare Wörter gibt?

Answer 1

Ich würde vorschlagen, dass Sie stattdessen pyenchant verwenden, da es eine robustere Lösung für diese Art von Problem ist. Sie können pyenchant here herunterladen. Hier ist ein Beispiel, wie Sie Ihre Ergebnisse erhalten würden, nachdem Sie es installiert haben:

>>> text = "IfI am inthat position, Idon't think I will." # note the lack of spaces 
>>> from enchant.checker import SpellChecker 
>>> checker = SpellChecker("en_US") 
>>> checker.set_text(text) 
>>> for error in checker: 
    for suggestion in error.suggest(): 
     if error.word.replace(' ', '') == suggestion.replace(' ', ''): # make sure the suggestion has exact same characters as error in the same order as error and without considering spaces 
      error.replace(suggestion) 
      break 
>>> checker.get_text() 
"If I am in that position, I don't think I will." # text is now fixed