imported>Wassermaus: /* Beispiel */ Formatierung

2025-01-14T10:47:32Z

Beispiel: Formatierung

Neue Seite

'''CESU-8''' (kurz für ''Compatibility Encoding Scheme for UTF-16: 8-Bit'') ist eine Variante von [[UTF-8]], die im [[Unicode]] Technical Report #26 beschrieben wird. Der [[Codepoint]] wird zunächst in [[UTF-16]] ausgedrückt, dann wird das Ergebnis in UTF-8 rekodiert, als wäre es [[UCS-2]].

== Kodierung ==
CESU-8-kodierter Text entsteht, wenn bei der Kodierung nach UTF-8 eine etwaige UTF-16-Kodierung der Ausgangsdaten nicht berücksichtigt wird, sei es aus Unkenntnis oder weil der Programmcode noch aus der Zeit stammt, in der Unicode nur ein 16-Bit-Zeichensatz war.

Bei Zeichen aus dem Bereich der [[Unicode#Gliederung|Basic Multilingual Plane]] (Zeichen bis Nummer 65.535) sind UTF-8 und CESU-8 identisch. Zeichen außerhalb der BMP werden durch die UTF-16-Kodierung durch jeweils ''zwei'' 16-Bit-Werte (aus dem für diese Zwecke reservierten Bereich von D800hex bis DFFFhex) repräsentiert. Werden diese beiden Werte nun einzeln in UTF-8 umgewandelt, entstehen daraus jeweils 3-Byte-Sequenzen aus dem Bereich <code>ED A0 xx</code> … <code>ED BF xx</code>, welche in normalem UTF-8 ''nicht'' vorkommen können. Ein korrekter UTF-8-Kodierer muss dagegen zuerst die UTF-16-Kodierung der Eingangsdaten erkennen und dekodieren (wobei Code-Werte >65535 auftreten können) und anschließend erst die UTF-8-Kodierung durchführen, wobei Werte >65535 in 4-Byte-Sequenzen kodiert werden, die mit <code>F0</code>hex bis <code>F4</code>hex beginnen.

== Verwendung ==
Da diese eigentlich „falsche UTF-8-Kodierung“ eine gewisse Verbreitung gefunden hat, wurde sie nachträglich durch das Unicode-Consortium genormt, allerdings unter dem neuen Namen ''CESU-8''. CESU-8 wird ausdrücklich ''nicht'' als Datenaustauschformat empfohlen, sondern nur als internes Format, wenn eine Kompatibilität zu UTF-16 erforderlich ist.

CESU-8 wird z. B. von der [[Oracle (Datenbanksystem)|Oracle]]-[[Datenbank]]-Software verwendet: Mit Version 8 wurde ein "UTF8" genannter Zeichensatz eingeführt, der aber in Wirklichkeit der CESU-8-Kodierung entspricht. Mit Version 9.0 wurde ein korrekter UTF-8-Zeichenatz eingeführt, der allerdings den Namen "AL32UTF8" erhielt, um die Kompatibilität zu vorhandenen, älteren Datenbanken zu bewahren.

== Beispiel ==
{| class="wikitable" style="text-align:center;"
|-
! rowspan="2" style="background-color: #f2f2f2; border:1px #aaaaaa solid; vertical-align:bottom;" | Kodierung
! colspan="19" style="background-color: #f2f2f2; border:1px #aaaaaa solid" | Unicode code point
|-
| style="border:1px #aaaaaa solid" | U+0045
| colspan="2" style="border:1px #aaaaaa solid" | U+0205
| colspan="12" style="border:1px #aaaaaa solid" | U+10400
|-
! style="background-color: #f2f2f2; border:1px #aaaaaa solid" | UTF-8
| style="border:1px #aaaaaa solid" | 45
| style="border:1px #aaaaaa solid; border-right: 1px #dddddd solid" | C8
| style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid" | 85
| colspan="3" style="border:1px #aaaaaa solid; border-right: 1px #dddddd solid" | F0
| colspan="3" style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid; border-right: 1px #dddddd solid" | 90
| colspan="3" style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid; border-right: 1px #dddddd solid" | 90
| colspan="3" style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid" | 80
|-
! style="background-color: #f2f2f2; border:1px #aaaaaa solid" | UTF-16
| style="border:1px #aaaaaa solid" | 0045
| colspan="2" style="border:1px #aaaaaa solid" | 0205
| colspan="6" style="border:1px #aaaaaa solid" | D801
| colspan="6" style="border:1px #aaaaaa solid" | DC00
|-
! style="background-color: #f2f2f2; border:1px #aaaaaa solid" | CESU-8
| style="border:1px #aaaaaa solid" | 45
| style="border:1px #aaaaaa solid; border-right: 1px #dddddd solid" | C8
| style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid" | 85
| colspan="2" style="border:1px #aaaaaa solid; border-right: 1px #dddddd solid" | ED
| colspan="2" style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid; border-right: 1px #dddddd solid" | A0
| colspan="2" style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid" | 81
| colspan="2" style="border:1px #aaaaaa solid; border-right: 1px #dddddd solid" | ED
| colspan="2" style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid; border-right: 1px #dddddd solid" | B0
| colspan="2" style="border:1px #aaaaaa solid; border-left: 1px #dddddd solid" | 80
|}

== Gleiches Beispiel mit Binärdarstellung ==
{| class="wikitable"
|-
! colspan="2" style="background-color: #f2f2f2; text-align:left;"| Kodierung
! colspan="1" style="background-color: #f2f2f2; text-align:left;"| Hexadezimal
! colspan="1" style="background-color: #f2f2f2; text-align:left;"| Binär
! colspan="1" style="background-color: #f2f2f2; text-align:left;"| Unicode code point
|- style="text-align:center"
|-
! colspan="2" style="background-color: #f2f2f2;text-align:left;border-top: 1.15pt black solid; text-align:left;"| UTF-8
| style="text-align:right;border-top: 1.15pt black solid; text-align:right;"| 45
| style="text-align:right;border-top: 1.15pt black solid; text-align:right;"| 0100 0101
| colspan="1" rowspan="3" style="text-align:left;border-top: 1.15pt black solid; text-align:left;"| U+0045 ([[E]], Lateinischer Großbuchstabe E)
|-
! colspan="2" style="background-color: #f2f2f2;text-align:left;"| UTF-16
| style="text-align:right;"| 00 45
| style="text-align:right;"| 0000 0000 0100 0101
|-
! colspan="2" style="background-color: #f2f2f2;text-align:left;"| CESU-8
| style="text-align:right;"| 45
| style="text-align:right;"| 0100 0101
|-
! colspan="2" style="background-color: #f2f2f2;text-align:left;border-top: 1.15pt black solid; text-align:left;"| UTF-8
| style="text-align:right;border-top: 1.15pt black solid; text-align:right;"| C8 85
| style="text-align:right;border-top: 1.15pt black solid; text-align:right;"| 1100 1000 1000 0101
| colspan="1" rowspan="3" style="text-align:left;border-top: 1.15pt black solid; text-align:left;"| U+0205 ([[Unicodeblock Lateinisch, erweitert-B|ȅ]], Lateinischer Kleinbuchstabe E mit Doppelgravis)
|-
! colspan="2" style="background-color: #f2f2f2;text-align:left;"| UTF-16
| style="text-align:right;"| 02 05
| style="text-align:right;"| 0000 0010 0000 0101
|-
! colspan="2" style="background-color: #f2f2f2;text-align:left;"| CESU-8
| style="text-align:right;"| C8 85
| style="text-align:right;"| 1100 1000 1000 0101
|-
! colspan="2" style="background-color: #f2f2f2;text-align:left;border-top: 1.15pt black solid; text-align:left;"| UTF-8
| style="text-align:right;border-top: 1.15pt black solid; text-align:right;"| F0 90 90 80
| style="text-align:right;border-top: 1.15pt black solid; text-align:right;"| 1111 0000 100'''1''' 0000 1001 0000 1000 0000
| colspan="1" rowspan="5" style="text-align:left;border-top: 1.15pt black solid; text-align:left;"| U+10400 ([[Unicodeblock Mormonenalphabet|𐐀]], Deseret-Großbuchstabe langes I)
|-
! rowspan="2" style="background-color: #f2f2f2;text-align:left;"| UTF-16
! style="background-color: #f2f2f2; text-align:left;"| ''High-Surrogate''
| style="text-align:right;"| D8 01
| style="text-align:right;"| '''1101 10'''00 0000 0001
|-
! style="background-color: #f2f2f2;text-align:left;"| ''Low-Surrogate''
| style="text-align:right;"| DC 00
| style="text-align:right;"| '''1101 11'''00 0000 0000
|-
! rowspan="2" ! style="background-color: #f2f2f2;text-align:left;"| CESU-8
! style="background-color: #f2f2f2;text-align:left;text-align:left;" | ''High''
| style="text-align:right;"| ED A0 81
| style="text-align:right;"| 1110 '''1101''' 10'''10''' 0000 1000 0001
|-
! style="background-color: #f2f2f2;text-align:left;text-align:left;"| ''Low''
| style="text-align:right;"| ED B0 80
| style="text-align:right;"| 1110 '''1101''' 10'''11''' 0000 1000 0000
|}

{| class="wikitable"
|-
! colspan="2" style="background-color: #f2f2f2; text-align:left;"| Legende
|-
| 0100 0101 etc.
| Datenbits
|-
|'''10000hex'''
| Größe der [[Liste der Unicodeblöcke#Ebenen|Ebene 0: Basic Multilingual Plane]] (wird für die UTF-16 Codierung abgezogen)
|-
| '''110110'''
| UTF-16 High-Surrogate Kodierungsbits
|-
| '''110111'''
| UTF-16 Low-Surrogate Kodierungsbits
|-
| 110,
1110,
11110,
10
| UTF-8 Kodierungsbits
|}

== Weblinks ==
* [http://www.unicode.org/reports/tr26/ Unicode Technical Report #26]

{{SORTIERUNG:Cesu8}}
[[Kategorie:Unicode]]
[[Kategorie:Abkürzung|CESU]]

CESU-8 - Versionsgeschichte

imported>Wassermaus: /* Beispiel */ Formatierung