Wie lautet das Format oder die Kodierung einer Datei mit solchen Daten?

Question

Ich habe eine Textdatei, die ich mit Sublime Text auf einem Mac geöffnet habe. Wenn ich die Datei nur öffnen, ich sehe Daten wie diese ...

efbf bdef bfbd 5300 4b00 5500 0900 4900 
4d00 4100 4700 4500 5500 5200 4c00 0900 

Wenn ich versuche, mit UTF LE 16-Codierung wieder zu öffnen, ich sehe ..

뿯붿SKU 

Können Sie mir helfen, die zu bestimmen, Format und/oder Kodierung dieser Datei?

Wenn ich die Datei mit Excel oder Macs TextEdit öffne, sehe ich auch dasselbe wie UTF LE 16 Codierung auf Sublime.

Also, wenn die Datei UTF LE 16 codiert ist, was sind diese Sonderzeichen?

Answer 1

EF BF BD ist der ERSATZCHARAKTER, der in UTF-8 codiert ist. Es bedeutet wahrscheinlich, dass diese Daten in einem anderen Format als UTF-8 (zB ISO-8859-1) waren, aber irgendwann von einem UTF-8-System geparst wurden, das die ungültigen Bytes durch ERSATZCHARAKTER ersetzt hat.

Ohne mehr Hintergrund darüber, wie Sie zu dieser Datei kamen, ist es schwierig, über die genaue Ursache zu spekulieren. Es ist sogar möglich, dass es Sublime Text ist, der diese Ersetzung durchführt, und die Datei selbst ist in einer anderen Kodierung (und wurde nicht verändert).

Ich würde sicherstellen, dass dies wirklich die Bytes in der Datei sind, und es ist nicht nur Sublime Text zeigt es auf eine lustige Art und Weise. Verwenden Sie ein einfacheres Tool wie xxd, um den Inhalt als Hexadezimalbyte auszugeben, und stellen Sie sicher, dass dies wirklich darin enthalten ist.