imported>SchlurcherBot: Bot: http → https

2025-10-21T08:50:56Z

Bot: http → https

Neue Seite

{{Lückenhaft|Es wird nur der diskrete Fall beschrieben. Der kontinuierliche Fall fehlt}}
'''Transinformation''' oder '''gegenseitige Information''' (engl. ''mutual information'') ist eine Größe aus der [[Informationstheorie]], die die Stärke des statistischen Zusammenhangs zweier [[Zufallsgröße]]n angibt. Die Transinformation wird auch als '''Synentropie''' bezeichnet. Im Gegensatz zur Synentropie einer [[Markow-Kette|Markov-Quelle]] erster Ordnung, welche die [[Redundanz (Informationstheorie)|Redundanz]] einer Quelle zum Ausdruck bringt und somit minimal sein soll, stellt die Synentropie eines Kanals den mittleren [[Informationsgehalt]] dar, der vom Sender zum Empfänger gelangt und somit maximal sein soll.

Gelegentlich wird auch die Bezeichnung ''relative Entropie'' verwendet, da die Transinformation ein Spezialfall der [[Kullback-Leibler-Divergenz]] ist.

Die Transinformation steht in einem engen Zusammenhang zur [[Entropie (Informationstheorie)|Entropie]] und zur [[Bedingte Entropie|bedingten Entropie]].
== Definition==
Für zwei Zufallsvariablen <math>X</math> und <math>Y</math> sei <math>P^{(2)}</math> die gemeinsame [[diskrete Wahrscheinlichkeitsverteilung]] mit den Wahrscheinlichkeiten <math>p(x,y)</math> und den zugehörigen [[Randverteilung]]en <math>P</math> und <math>Q</math> mit den Wahrscheinlichkeiten <math>p(x)</math> und
<math>q(y)</math>
Dann ist die ''Transinformation'' als
: <math>I(X; Y) = \sum_{x}\sum_{y}p(x,y) \cdot \log_2 \left( \frac{p(x,y)}{p(x)q(y)}\right)</math><ref>
{{Literatur |Autor=R. López De Mántaras |Titel=A Distance-Based Attribute Selection Measure for Decision Tree Induction |Sammelwerk=Machine Learning |Band=6 |Nummer=1 |Datum=1991-01-01 |ISSN=0885-6125 |Seiten=81–92 |Online=https://link.springer.com/article/10.1023/A%3A1022694001379 |Abruf=2016-05-14 |DOI=10.1023/A:1022694001379}}</ref><ref name="Rinne-64">{{Literatur |Autor=[[Horst Rinne]] |Titel=Taschenbuch der Statistik |Verlag=Harri Deutsch |Ort=Frankfurt am Main |Datum=2008 |Auflage=4 |ISBN=978-3-8171-1827-4 |Fundstelle=S. 64}} </ref>
definiert.

Die Transinformation <math>I(X;Y)</math> kann als [[Erwartungswert]] bezüglich der gemeinsamen Verteilung von <math>X</math> und <math>Y</math> aufgefasst werden:
: <math>I(X;Y) = \mathbb{E}\left[\log_2 \left( \frac{p(X,Y)}{p(X)q(Y)} \right) \right].</math>
Dabei sind <math>p(X,Y)</math>, <math>p(X)</math> und <math>q(Y)</math> Zufallsvariablen und die Erwartungsbildung bezieht sich auf die [[Gemeinsame Verteilung von Zufallsvariablen|gemeinsame Verteilung]] von <math>X</math> und <math>Y</math>.

== Beziehung zu verschiedenen Entropie- und Informations-Maßzahlen ==
* Zu den Entropien
::<math>H(X) = -\sum_{x} p(x) \log_2 (p(x))</math>
:der Zufallsvariablen <math>X</math> (bzw. der Verteilung <math>P</math>),
::<math>H(Y) = -\sum_{y} q(y) \log_2 (q(y))</math>
:der Zufallsvariablen <math>Y</math> (bzw. der Verteilung <math>Q</math>) und
::<math>H(X,Y) = -\sum_{x} \sum_{y} p(x,y) \log_2\left(p(x,y)\right)</math>
:des Zufallsvektors <math>(X,Y)</math> (bzw. der zweidimensionalen Verteilung <math>P^{(2)}</math>) besteht die Beziehung
::<math>I(X; Y) = H(X) + H(Y) - H(X,Y)\;,</math>
:die auch alternativ zur Definition der Transinformation verwendet werden kann.<ref name="Rinne-64"/>

* Die Transinformation ist die [[Kullback-Leibler-Divergenz]] <math>D(\cdot\|\cdot)</math> der gemeinsamen Wahrscheinlichkeitsverteilung <math>P^{(2)}</math> bezüglich der [[Produktverteilung]] <math>P \otimes Q</math> der beiden Randverteilungen <math>P</math> und <math>Q</math>, es gilt also
::<math>I(X;Y)=D(P^{(2)}\|P \otimes Q)\;.</math>
:Auch dieser Zusammenhang kann zur Definition der Transinformation verwendet werden.

* Mit der bedingten Entropie
::<math>H(X \vert Y) = -\sum_{x} \sum_{y} p(x,y) \log_2(p(x \vert y)) = -\sum_{x} \sum_{y} p(x,y) \log_2\left(\frac{p(x,y)}{q(y)}\right) </math>
:besteht die Beziehung
::<math>I(X; Y) = H(X) - H(X \vert Y)\;,</math>
:Mit der bedingten Entropie
::<math>H(Y \vert X) = -\sum_{x} \sum_{y} p(x,y) \log_2(p(y \vert x)) = -\sum_{x} \sum_{y} p(x,y) \log_2\left(\frac{p(x,y)}{p(x)}\right) </math>
:besteht die Beziehung
::<math>I(X; Y) = H(Y) - H(Y \vert X)\;,</math>
:Im Zusammenhang mit der Interpretation als Informationsübertragung von einer Informationsquelle (Sender) <math>X</math> zu einer Informationssenke (Empfänger) <math>Y</math> heißen <math>H(X)</math> ''Quell-Entropie'' und <math>H(X \vert Y)</math> [[Äquivokation]], so dass "''Quell-Entropie = Transinformation + Äquivokation''" gilt, und heißen <math>H(Y)</math> ''Empfangs-Entropie'' und <math>H(Y \vert X)</math> ''Fehlinformation'', so dass "''Empfangs-Entropie = Transinformation + Fehlinformation''" gilt.

== Eigenschaften und Interpretation ==
[[Datei:Entroy XY.png|370px|mini|Darstellung in einem [[Sankey-Diagramm]]: Ein gedächtnisloser [[Kanal (Informationstheorie)|Kanal]] verbindet die zwei Quellen X und Y. Von X nach Y fließt Transinformation. Die Empfänger-Quelle Y der Entsende-Quelle X verhält sich wie eine Quelle. Es wird nicht zwischen Empfänger und Entsender unterschieden. Je mehr die Quellen voneinander abhängen, desto mehr Transinformation ist vorhanden.]]
[[Datei:Entropie Information.png|530px|mini|Zwei gedächtnislose [[Kanal (Informationstheorie)|Kanäle]] verbinden drei Quellen. Von der Senderquelle X kann der Empfängerquelle Y eine Transinformation von I(x;y) übermittelt werden. Wird diese Transinformation weiter geleitet so empfängt die Empfängerquelle Z eine Transinformation von I(X;Z).
Man kann hier deutlich sehen, dass die Transinformation von der Menge an Äquivokation abhängt.]]
Verschwindet die Transinformation, so spricht man von statistischer Unabhängigkeit der beiden Zufallsgrößen. Die Transinformation wird maximal, wenn sich eine Zufallsgröße vollkommen aus der anderen berechnen lässt.
Die Transinformation beruht auf der von [[Claude Shannon]] eingeführten Definition der Information mit Hilfe der Entropie (Unsicherheit, mittlerer Informationsgehalt). Nimmt die Transinformation zu, so verringert sich die Unsicherheit über eine Zufallsgröße unter der Voraussetzung, dass die andere bekannt ist. Ist die Transinformation maximal, verschwindet die Unsicherheit folglich. Wie aus der formalen Definition zu sehen ist, wird die Ungewissheit einer Zufallsvariable durch Kenntnis einer anderen reduziert. Dies drückt sich in der Transinformation aus.

Die Transinformation spielt beispielsweise bei der [[Datenübertragung]] eine Rolle. Mit ihr lässt sich die [[Kanalkapazität]] eines [[Kanal (Informationstheorie)|Kanals]] bestimmen.

Entsprechend kann auch eine Entropie ''H(Z)'' von zwei verschiedenen, wiederum voneinander abhängigen, Entropien abhängen:

In der Fachliteratur werden verschiedene Begriffe verwendet. Die Äquivokation wird auch als „Verlustentropie“ und die Fehlinformation auch als „[[Irrelevanz]]“ bezeichnet. Die Transinformation wird auch als „Transmission“ oder „mittlerer Transinformationsgehalt“ bezeichnet.

== Literatur ==
* Martin Werner: ''Information und Codierung.'' Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
* Herbert Schneider-Obermann: ''Basiswissen der Elektro-, Digital- und Informationstechnik.'' 1. Auflage. Friedrich Vieweg & Sohn Verlag / GWV Fachverlage GmbH, Wiesbaden 2006, ISBN 978-3-528-03979-0.
* D. Krönig, M. Lang (Hrsg.): ''Physik und Informatik – Informatik und Physik.'' Springer Verlag, Berlin/Heidelberg 1991, ISBN 978-3-540-55298-7.

== Weblinks ==
* {{Scholarpedia|http://www.scholarpedia.org/article/Mutual_information|Mutual information|Peter E. Latham, Yasser Roudi}}
* [http://www.mathematik.uni-dortmund.de/~scharlau/SoSe06/CT/ct_kap4.pdf Informationskanäle und ihre Kapazität] (abgerufen am 26. Februar 2018)
* [http://www.mss.cbi.fau.de/content/uploads/epaWWW.pdf Entropy, Transinformation and Word Distribution of Information{Carrying Sequences] (abgerufen am 26. Februar 2018)
* [https://piware.de/docs/ikt.pdf Informations und Kodierungstheorie] (abgerufen am 26. Februar 2018)
* [http://www.hawo.stw.uni-erlangen.de/~siflfran/uni/IuK/Formelsammlungen/infth.pdf Formeln und Notizen Informationstheorie] (abgerufen am 26. Februar 2018)

== Einzelnachweise ==
<references />

[[Kategorie:Informationstheorie]]

Transinformation - Versionsgeschichte

imported>SchlurcherBot: Bot: http → https