Python WhatsApp Chat entfernen ungültige Tokens

Question

Ich möchte eine WhatsApp Chat-Verlauf analysieren. Ich habe den Text in die Wörter aufgeteilt. Aber ich habe das Problem, dass es viele unnötige Wörter gibt (ich denke das sind Emojis zum Beispiel). Kann jemand überprüfen, ob ein Wort in Python gültig ist? (Das bedeutet, dass das Wort mindestens ein Zeichen des Alphabets enthält)

Answer 1

Die Schwierigkeit besteht darin, richtig zu definieren, was ein gültiges Wort ausmacht. Dies kann beliebig komplex sein, wenn mehrere Sprachen berücksichtigt werden müssen.

Wenn Sie nur überprüfen wollen, ob das Wort mindestens ein ASCII-Zeichen enthält, können Sie dies tun:

def is_valid_word(word): 
    return any([letter in string.ascii_letters for letter in word])