Schreiben in UTF-8-Datei in Python

Question

Ich bin wirklich mit der codecs.open function verwechselt. Wenn ich tun:

file = codecs.open("temp", "w", "utf-8") 
file.write(codecs.BOM_UTF8) 
file.close() 

Es gibt mir den Fehler

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 0: ordinal not in range(128)

Wenn ich tun:

file = open("temp", "w") 
file.write(codecs.BOM_UTF8) 
file.close() 

Es funktioniert gut.

Frage ist warum schlägt die erste Methode fehl? Und wie füge ich den bom ein?

Wenn die zweite Methode der richtige Weg ist, was ist der Sinn der Verwendung von codecs.open(filename, "w", "utf-8")?

Answer 1

Ich glaube, das Problem ist, dass codecs.BOM_UTF8 ist eine Byte-Zeichenfolge, keine Unicode-Zeichenfolge. Ich vermute, dass der Datei-Handler versucht zu erraten, was Sie wirklich meinen, basierend auf "Ich soll Unicode als UTF-8-kodierten Text schreiben, aber Sie haben mir eine Byte-Zeichenfolge gegeben!"

Versuchen Sie, die Unicode-Zeichenfolge für die Bytereihenfolgemarkierung (dh Unicode U + FEFF) direkt zu schreiben, so dass die Datei kodiert nur, dass als UTF-8:

import codecs 

file = codecs.open("lol", "w", "utf-8") 
file.write(u'\ufeff') 
file.close() 

(Das scheint die richtige Antwort zu geben, - eine Datei mit Bytes EF BB BF)

EDIT: S. Lott suggestion der Verwendung von „utf-8-sig“, wie die Codierung besser ist eine als ausdrücklich die BOM Schreiben selbst, aber ich werde diese Antwort verlassen. Hier wird erklärt, was vorher schief gelaufen ist.

Answer 2

folgend lesen: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

diesen Do

with codecs.open("test_output", "w", "utf-8-sig") as temp: 
    temp.write("hi mom\n") 
    temp.write(u"This has ♭") 

Die resultierende Datei ist UTF-8 mit der erwarteten Stückliste.

Answer 3

@ S-Lott gibt das richtige Verfahren, sondern erweitert auf den Unicode Fragen, die Python Interpreter kann mehr Erkenntnisse.

Jon Skeet ist richtig (ungewöhnlich) über das codecs Modul - es Byte-Strings enthält:

>>> import codecs 
>>> codecs.BOM 
'\xff\xfe' 
>>> codecs.BOM_UTF8 
'\xef\xbb\xbf' 
>>> 

andere nit Kommissionierung, die BOM einen Standard Unicode Namen hat, und es kann als eingegeben werden:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}" 
>>> bom 
u'\ufeff' 

Es ist auch über unicodedata:

>>> import unicodedata 
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE') 
u'\ufeff' 
>>> 

Answer 4

Ich verwende die * nix-Befehlsdatei eine unbekannte charset-Datei in einer utf-8-Datei

# -*- encoding: utf-8 -*- 

# converting a unknown formatting file in utf-8 

import codecs 
import commands 

file_location = "jumper.sub" 
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location) 

file_stream = codecs.open(file_location, 'r', file_encoding) 
file_output = codecs.open(file_location+"b", 'w', 'utf-8') 

for l in file_stream: 
    file_output.write(l) 

file_stream.close() 
file_output.close()