imported>Aka: /* Weblinks */ https

2021-02-12T17:52:36Z

Weblinks: https

Neue Seite

Unter '''Normalisierung''' von Text versteht man das Überführen in eine andere Form, bei der nur die für den gewünschten Kontext relevanten Informationen beibehalten werden. Je nach Anwendung kann die Normalisierung ganz unterschiedlich ablaufen.

== Beispiele ==
Einige Zeichensätze, insbesondere [[Unicode]], ermöglichen die Darstellung eines Zeichens auf unterschiedliche Arten. In Anwendungen ist meist aber nur eine der möglichen Formen erwünscht, sodass die Normalisierung den Text in diese Form überführen muss. Speziell für Unicode gibt es vier Möglichkeiten für diese [[Normalisierung (Unicode)|Normalisierung]].

Bei der Erstellung eines Suchindex muss die Normalisierung je nach Erwartung des Benutzers unterschiedliche Anforderungen erfüllen. Einige Möglichkeiten sind:
* Satzzeichen können entfernt werden.
* Zeichen mit Akzenten können durch ihren Grundbuchstaben ersetzt werden. Ebenso kann ä durch ae und ß durch ss ersetzt werden.
* Alle Zeichen können in Großbuchstaben umgewandelt werden.
* Zeichen aus anderen Alphabeten können [[Transliteration|transliteriert]] werden.
Einige dieser Anforderungen können mit Hilfe des [[Unicode Collation Algorithm]] erfüllt werden.

Um [[Spoofing]] zu verhindern, also zum Beispiel die Möglichkeit, dass sich in einem Internetforum zwei Benutzer anmelden können, deren Namen identisch aussehen, müssen bei der Normalisierung visuell ähnliche Zeichen durch dasselbe Zeichen ersetzt werden. Es könnte also sowohl die Ziffer 1, als auch der Kleinbuchstabe l durch den Großbuchstaben I ersetzt werden.

Für die [[Sprachsynthese]] müssen Zahlen, Sonderzeichen und Abkürzungen – teilweise abhängig vom Kontext – aufgelöst werden, um korrekt vorgelesen zu werden.

== Weblinks ==
* [https://util.unicode.org/UnicodeJsps/confusables.jsp Demonstration] optisch ähnlicher Zeichen (englisch)

[[Kategorie:Datenformat]]

Normalisierung (Text) - Versionsgeschichte

imported>Aka: /* Weblinks */ https