Cross-Plattform-Unicode in C/C++: Welche Codierung zu verwenden?

Question

Ich arbeite gerade an einem Hobby-Projekt (C/C++), das sowohl mit Windows als auch mit Linux arbeiten soll, mit voller Unterstützung für Unicode. Leider verwenden Windows und Linux verschiedene Kodierungen, die unser Leben erschweren.

In meinem Code versuche ich, die Daten so universell wie möglich zu verwenden, so dass es für Windows und Linux einfach ist. In Windows ist wchar_t standardmäßig als UTF-16 und als UCS-4 in Linux (korrigiere mich, wenn ich falsch liege).

Meine Software öffnet ({_wfopen, UTF-16, Windows}, {fopen, UTF-8, Linux}) und schreibt Daten in Dateien in UTF-8. Bis jetzt ist alles machbar. Bis ich mich dazu entschloss, SQLite zu verwenden.

Die C/C++ - Schnittstelle von SQLite ermöglicht codierte Strings mit einem oder zwei Byte (click). Natürlich funktioniert das nicht mit wchar_t in Linux, da die wchar_t in Linux standardmäßig 4 Bytes ist. Daher erfordert das Schreiben und Lesen von sqlite eine Konvertierung für Linux.

Derzeit ist der Code mit Ausnahmen für Windows/Linux überfüllt. Ich hatte gehofft, um die Standard-Idee der Speicherung von Daten in wchar_t zu halten:

wchar_t in Windows: Dateipfade ohne ein Problem, Lesen/Schreiben zu SQLite ohne ein Problem. Das Schreiben von Daten in eine Datei sollte trotzdem in UTF-8 erfolgen.

wchar_t in Linux: Ausnahme für die Dateipfade wegen UTF-8-Codierung, Konvertierung vor dem Lesen/Schreiben in sqlite (wchar_t), und das gleiche für Windows beim Schreiben von Daten in eine Datei.

Nach dem Lesen (here) war ich überzeugt, ich sollte bei wchar_t in Windows bleiben. Aber nachdem all das funktioniert hatte, begannen die Probleme mit der Portierung auf Linux.

Zur Zeit denke ich daran, alles mit einfachen Zeichen (UTF-8) zu wiederholen, weil es mit Windows und Linux funktioniert, unter Berücksichtigung der Tatsache, dass ich 'WideCharToMultiByte' jede Zeichenfolge in Windows erreichen muss UTF-8. Die Verwendung von einfachen char * -basierten Strings reduziert die Anzahl der Ausnahmen für Linux/Windows erheblich.

Haben Sie Erfahrung mit Unicode für Cross-Plattform? Irgendwelche Gedanken über die Idee, Daten einfach in UTF-8 zu speichern anstatt wchar_t zu verwenden?

Answer 1

UTF-8 auf allen Plattformen mit Just-in-Time-Konvertierung in UTF-16 für Windows ist eine gängige Taktik für plattformübergreifendes Unicode.

Answer 2

Unsere Software ist auch plattformübergreifend und wir hatten ähnliche Probleme. Wir haben uns entschieden, dass wir möglichst wenig Conversions erzielen möchten. Dies bedeutet, dass wir wchar_t unter Windows und char unter Unix/Mac verwenden.

Wir tun dies, indem _T und LPCTSTR und ähnliche auf Unix unterstützt und durch generische Funktionen, die zwischen std::string und std::wstring leicht umwandeln. Wir haben auch eine generische std::basic_string<TCHAR> (tstring), die wir in den meisten Fällen verwenden.

Bisher funktioniert das ganz gut. Grundsätzlich die meisten Funktionen nehmen eine tstring oder eine LPCTSTR und diejenigen, die nicht erhalten ihre Parameter von einer tstring konvertiert werden. Das bedeutet, dass wir unsere Strings meistens nicht konvertieren und die meisten Parameter nicht durchlaufen.