https://wiki-de.moshellshocker.dns64.de/index.php?action=history&feed=atom&title=VerbundentropieVerbundentropie - Versionsgeschichte2026-06-21T03:52:19ZVersionsgeschichte dieser Seite in Wikipedia (Deutsch) – Lokale KopieMediaWiki 1.43.8https://wiki-de.moshellshocker.dns64.de/index.php?title=Verbundentropie&diff=30377&oldid=previmported>Boehm: typog2022-05-17T08:27:00Z<p>typog</p>
<p><b>Neue Seite</b></p><div>Die '''Verbundentropie''' ist ein Maß für den [[Entropie (Informationstheorie)|mittleren Informationsgehalt]] mehrerer Nachrichtenquellen.<br />
<br />
== Definition ==<br />
<br />
Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:<ref name="cover" /><br />
<br />
:<math>H(XY) := - \sum_{y \in Y} \sum_{x \in X} Pr \{ X = x, Y = y \} \log_2 ( Pr \{ X = x, Y = y \} ) \quad \Big[ \frac{\text{ bit }}{\text{Symbolpaar}} \Big]</math><br />
<br />
Hierbei sind <math>x</math> und <math>y</math> jeweils einzelne Symbole aus den Quellenalphabeten <math>X</math> und <math>Y</math>.<br />
<br />
Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt<br />
<br />
:<math>Pr\{ X = x_i, Y = y_j \} = Pr\{X = x_i\} \cdot Pr\{y = y_j\}</math><br />
<br />
und somit<br />
<br />
:<math>H(XY) = H(X) + H(Y)</math>.<br />
<br />
Für mehr als zwei Quellen ergibt sich:<br />
<br />
:<math>H(X_1, \dots, X_n) = - \sum_{x_1} \dots \sum_{x_n} Pr\{x_1, \dots, x_n\} \log_2( Pr\{x_1, \dots, x_n\} )</math><br />
<br />
== Siehe auch ==<br />
* [[Entropie (Informationstheorie)]]<br />
* [[Entropieschätzung]]<br />
* [[Symbolische Dynamik]]<br />
<br />
== Literatur ==<br />
* Martin Werner: ''Information und Codierung.'' Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.<br />
* Peter Bocker: ''Datenübertragung''. Band I – ''Grundlagen''. Springer Verlag, Berlin / Heidelberg 1976, ISBN 978-3-662-06499-3.<br />
<br />
== Weblinks ==<br />
* [http://www.hawo.stw.uni-erlangen.de/~siflfran/uni/IuK/Formelsammlungen/infth.pdf Informationstheorie] (abgerufen am 8. März 2018)<br />
* [https://www2.ostfalia.de/export/sites/default/de/pws/lajmi/Lehre/Codierungstheorie/pdf/Codierung_2008_-_2009_2.pdf Kodierungs- und Informationstheorie] (abgerufen am 8. März 2018)<br />
* [https://graphics.ethz.ch/teaching/former/infotheory0607/Downloads/slides3_1.pdf Entropie] (abgerufen am 8. März 2018)<br />
* [https://graphics.ethz.ch/teaching/infotheory_common/skript.pdf Information und Kommunikation] (abgerufen am 8. März 2018)<br />
<br />
== Einzelnachweise ==<br />
<references><br />
<ref name="cover">T. H. Cover, J. A. Thomas, ''Elements of Information Theory'', S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9</ref><br />
</references><br />
<br />
[[Kategorie:Informationstheorie]]</div>imported>Boehm