UTF32 und C# Probleme

Question

Also habe ich einige Probleme mit der Zeichenkodierung. Als ich legte die folgenden zwei Zeichen in eine UTF32 codierten Textdatei:

鸕 

und dann auf sie diesen Code ausführen:

System.IO.StreamReader streamReader = 
    new System.IO.StreamReader("input", System.Text.Encoding.UTF32, false); 
System.IO.StreamWriter streamWriter = 
    new System.IO.StreamWriter("output", false, System.Text.Encoding.UTF32); 

streamWriter.Write(streamReader.ReadToEnd()); 

streamWriter.Close(); 
streamReader.Close(); 

ich:

鸕 
鸕 

(gleiche Zeichen zweimal, dh die Eingabedatei! = Ausgabe)

Ein paar Dinge, die helfen könnten: Hex für das erste Zeichen:

15 9E 02 00

Und zum zweiten:

15 9E 00 00

ich gedit für die Textdatei Erstellung verwenden, Mono für die C# und ich benutze Ubuntu.

Es ist auch egal, wenn ich die Codierung für die Eingabe- oder Ausgabedatei angeben, es mag es einfach nicht, wenn es in UTF32-Codierung ist. Es funktioniert, wenn die Eingabedatei in UTF-8-Codierung ist.

Die Eingabedatei ist wie folgt:

FF FE 00 00 15 9E 02 00 0A 00 00 00 15 9E 00 00 0A 00 00 00

Ist es ein Fehler, oder ist es gerade ich?

Danke!

Answer 1

K, also habe ich herausgefunden, ich denke, es scheint jetzt zu funktionieren. Stellt sich heraus, da die Codes für die Zeichen waren 15 9E 02 00 und 15 9E 00 00, dann gibt es keine Möglichkeit, dass sie in einem einzigen UTF-16 char gehalten werden können. Stattdessen verwendet UTF16 stattdessen diese Ersatzpaare, bei denen zwei verschiedene Zeichen als ein "Element" fungieren. Um Elemente zu erhalten, können wir verwenden:

StringInfo.GetTextElementEnumerator(string fred); 

und dies gibt eine Zeichenfolge mit den Ersatzpaaren zurück. Behandle es als ein Zeichen.

Siehe hier:

http://msdn.microsoft.com/en-us/library/system.globalization.stringinfo.aspx

http://msdn.microsoft.com/en-us/library/system.globalization.textelementenumerator.gettextelement.aspx

Hoffe, es hilft jemand: D

Answer 2

Beim Schreiben geben Sie nicht UTF-32 an, daher wird standardmäßig Encoding.UTF8 verwendet.

Von MSDN:

Dieser Konstruktor erstellt eine Stream mit UTF-8-Codierung ohne Byte-Order Mark (BOM), so dass ihre GetPreamble Methode gibt ein leeres Byte Array. Um einen StreamWriter unter Verwendung der UTF-8-Codierung und einer Stückliste zu erstellen, verwenden Sie die Verwendung eines Konstruktors, der die Codierung angibt, z. B. StreamWriter (String, Boolean, Encoding).

Answer 3

Ich denke, Sie müssen die gleiche Codierung (Encoding.UTF32) auch für Ihre StreamWriter angeben.

EDIT:

Normalerweise ist es nicht zwischen UTF Codepages benötigt, aber ich würde dies auch versuchen:

Encoding utf8 = Encoding.UTF8; 
Encoding utf32 = Enconding.UTF32; 
byte[] utf8Bytes = utf8.GetBytes(yourText); 
byte[] utf32Bytes = Encoding.Convert(utf8, utf32, utf8Bytes); 
string utf32Text = iso.GetString(utf32Text); 

Answer 4

Ich versuchte dies und es funktioniert gut auf meinem PC.

System.IO.StreamReader streamReader = new System.IO.StreamReader("input", true); 
System.IO.StreamWriter streamWriter = new System.IO.StreamWriter("output", false); 

streamWriter.Write(streamReader.ReadToEnd()); 

streamWriter.Close(); 
streamReader.Close(); 

Vielleicht ist der Text, den Sie denken, ist in UTF32 ist nicht.

Answer 5

Vom Abschnitt Hinweise MSDN für StreamReader's constructor:

Dieser Konstruktor initialisiert die Codierung, wie durch die Codierungs Parameter angegeben, und die interne Puffergröße auf 1024 Bytes. Das StreamReader-Objekt versucht, die Codierung zu erkennen, indem es die ersten drei Bytes des Streams betrachtet. Es erkennt UTF-8, Little-Endian-Unicode und Big-Endian-Unicode-Text automatisch, wenn die Datei mit den entsprechenden Byte-Reihenfolgezeichen startet. Andernfalls wird die vom Benutzer bereitgestellte Codierung verwendet. Weitere Informationen finden Sie in der Encoding.GetPreamble-Methode. Informationen hierzu finden Sie unter .

Sehr wahrscheinlich die Byte-Reihenfolge Zeichen am Anfang Ihrer Datei angibt, tatsächlich UTF-16 (oder etwas), und es ist so nicht Ihre explizit angegeben UTF-32-Codierung.