Wie lese ich chinesische Dateien?

Question

Ich bin mit all diesen verwirrenden Kodierung Sachen stecken. Ich habe eine Datei mit chinesischen Subs. Ich glaube tatsächlich, dass es UTF-8 ist, weil ich dies in Notepad ++ benutze, gibt mir ein sehr gutes Ergebnis. Wenn ich gb2312 setze, ist der chinesische Teil immer noch in Ordnung, aber ich werde sehen, dass ein UTF8-Code nicht konvertiert wird.

Ziel ist es, den Text in der Datei zu durchlaufen und zu zählen, wie oft die verschiedenen Zeichen angezeigt werden.

import os 
import re 
import io 

character_dict = {} 
for dirname, dirnames, filenames in os.walk('.'): 
    for filename in filenames: 
     if "srt" in filename: 
      import codecs 
      f = codecs.open(filename, 'r', 'gb2312', errors='ignore') 
      s = f.read() 

      # deleting {} 
      s = re.sub('{[^}]+}', '', s) 
      # deleting every line that does not start with a chinese char 
      s = re.sub(r'(?m)^[A-Z0-9a-z].*\n?', '', s) 
      # delete non chinese chars 
      s = re.sub(r'[\s\.A-Za-z0-9\?\!\\/\-\"\,\*]', '', s) 
      #print s 
      s = s.encode('gb2312') 
      print s 
      for c in s: 
       #print c 
       pass 

Dies wird tatsächlich den vollständigen chinesischen Text geben. Aber wenn ich die Schleife auf der Unterseite drucke, bekomme ich nur Fragezeichen anstelle der einzelnen Zeichen.

Auch ich sagte, es ist UTF8, aber ich muss gb2312 für die Codierung und als Einstellung in meinem Gnome-Terminal verwenden. Wenn ich es im Code auf UTF8 setze, bekomme ich nur Müll, egal, ob ich mein Terminal auf UTF8 oder Gb2312 setze. Vielleicht ist diese Datei doch nicht UTF8 !?

In jedem Fall enthält s den vollständigen chinesischen Text. Warum kann ich das nicht tun?

Bitte helfen Sie mir, dies zu verstehen. Es ist sehr verwirrend für mich und die Ärzte bringen mich nirgendwohin. Und Google führt mich zu ähnlichen Problemen, die jemand löst, aber es gibt bisher keine Erklärung, die mir geholfen hat, das zu verstehen.

Answer 1

Sie drucken einzelne Bytes. GB2312 ist eine Multi-Byte-Codierung, und jeder Codepunkt verwendet 2 Bytes. Wenn diese Bytes einzeln gedruckt werden, wird keine gültige Ausgabe, nein, erzeugt.

Die Lösung ist Codierung nicht von Unicode zu Bytes beim Drucken. Schleife über den Unicode-String statt:

# deleting {} 
s = re.sub('{[^}]+}', '', s) 
# deleting every line that does not start with a chinese char 
s = re.sub(r'(?m)^[A-Z0-9a-z].*\n?', '', s) 
# delete non chinese chars 
s = re.sub(r'[\s\.A-Za-z0-9\?\!\\/\-\"\,\*]', '', s) 
#print s 

# No `s.encode()`! 
for char in s: 
    print char 

Sie konnte kodieren jeweils char chararter individuell:

for char in s: 
    print char 

Aber wenn Sie Ihre Konsole/IDE/Terminal richtig konfiguriert haben, sollten Sie in der Lage sein, direkt zu drucken ohne Fehler, zumal Ihre print s.encode('gb2312) `korrekte Ausgabe produziert.

Sie scheinen auch UTF-8 (eine Codierung) mit der Unicode standard zu verwirren. UTF-8 kann verwendet werden, um Unicode-Daten in Bytes darzustellen. GB2312 ist eine Codierung zu und kann verwendet werden, um eine (Teilmenge von) Unicode-Text in Bytes darzustellen.

Möglicherweise möchten Sie auf Python und Unicode lesen:

• Die Python Unicode HOWTO

• Pragmatic Unicode von Ned Batchelder

• The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!) von Joel Spolsky

Answer 2

gb2312 ist eine Multi-Byte-Codierung.Wenn Sie über eine mit ihm codierte Bytefolge iterieren, durchlaufen Sie die Bytes und nicht die Zeichen, die Sie zählen (oder drucken) möchten. Wahrscheinlich möchten Sie Ihre Iteration über die unicode-Zeichenfolge ausführen, bevor Sie sie codieren. Bei Bedarf können Sie die einzelnen Codepunkte (Zeichen) in ihre eigenen Bytestrings für die Ausgabe codieren:

# don't do s = s.encode('gb2312') 
for c in s:  # iterate over the unicode codepoints 
    print c.encode('gb2312') # encode them individually for output, if necessary