Python verwendet 'ascii' Codec bei der Decodierung, wo es 'UTF-8'

Question

ich ein Stück Code haben verwenden sollte:

with open('filename.txt','r') as textfile: 
    kwList = [x.strip('\n') for x in textfile.readlines()] 

ich eine bekommen: UnicodeDecodeError: 'ascii' Codec Byte nicht dekodieren kann 0xC4 in Position 5595: ordinal nicht im Bereich (128) auf der Leitung 2

Das Problem besteht darin, dass nach dem Python-Doc: https://docs.python.org/3/library/functions.html#open

Python3 locale.getpreferredencoding(False) verwendet die Standardcodierung zu erhalten w zu verwenden, Wenn in der offenen Methode keine Codierung angegeben ist.

Wenn ich locale.getpreferredencoding (False) ausführen, bekomme ich "UTF-8".

Warum bekomme ich 'Ascii' Codec im UnicodeDecodeError fehlgeschlagen, wenn Python 'UTF-8' verwenden soll, um dies zu tun?

Answer 1

Das Gebietsschema stammt aus dem Kontext; Auf POSIX-Systemen, also den Umgebungsvariablen, siehe POSIX locale documentation. Sie müssen den genauen Kontext Ihrer Produktionsumgebung reproduzieren, wenn Sie testen möchten, für welche Kodierung sich Python entscheidet (z. B. die von der Produktionsumgebung verwendeten Umgebungsvariablen kopieren).

Wahrscheinlich führen Sie Ihr Programm als Subprozess von etwas aus, das nur den effektiven Benutzer setzt (oder erbt), aber nicht die Umgebung für diesen Benutzer kopiert. Entweder wurde ein explizites Gebietsschema von diesem übergeordneten Prozess festgelegt, oder, wenn keines festgelegt ist, wird das standardmäßige C-Gebietsschema verwendet. Die Standardcodierung für dieses Gebietsschema ist ASCII. einige Systeme wird dies durch den Namen ANSI_X3.4-1968 berichten:

$ LANG=C python -c 'import locale; print(locale.getpreferredencoding(False))' 
ANSI_X3.4-1968 

Wenn zum Beispiel Ihre Produktionscode von cron ausgeführt wird, dann werden die Umgebungsvariablen sind nicht gesetzt, wenn Sie einen bestimmten Benutzer eingestellt. Set LC_ALL Umgebungsvariable explizit an der Spitze Ihres crontab:

LC_ALL=en.UTF-8 

wenn Ihre cron Implementierung Variablen auf diese Weise Einstellung unterstützt, oder legen Sie es auf der Kommandozeile Sie ausführen werden:

* * * * * LC_ALL=nb_NO.UTF-8 /path/to/your/program 

See