Verbundentropie
Die Verbundentropie ist ein Maß für den mittleren Informationsgehalt mehrerer Nachrichtenquellen.
Definition
Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:<ref name="cover" />
- <math>H(XY) := - \sum_{y \in Y} \sum_{x \in X} Pr \{ X = x, Y = y \} \log_2 ( Pr \{ X = x, Y = y \} ) \quad \Big[ \frac{\text{ bit }}{\text{Symbolpaar}} \Big]</math>
Hierbei sind <math>x</math> und <math>y</math> jeweils einzelne Symbole aus den Quellenalphabeten <math>X</math> und <math>Y</math>.
Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt
- <math>Pr\{ X = x_i, Y = y_j \} = Pr\{X = x_i\} \cdot Pr\{y = y_j\}</math>
und somit
- <math>H(XY) = H(X) + H(Y)</math>.
Für mehr als zwei Quellen ergibt sich:
- <math>H(X_1, \dots, X_n) = - \sum_{x_1} \dots \sum_{x_n} Pr\{x_1, \dots, x_n\} \log_2( Pr\{x_1, \dots, x_n\} )</math>
Siehe auch
Literatur
- Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
- Peter Bocker: Datenübertragung. Band I – Grundlagen. Springer Verlag, Berlin / Heidelberg 1976, ISBN 978-3-662-06499-3.
Weblinks
- Informationstheorie (abgerufen am 8. März 2018)
- Kodierungs- und Informationstheorie (abgerufen am 8. März 2018)
- Entropie (abgerufen am 8. März 2018)
- Information und Kommunikation (abgerufen am 8. März 2018)
Einzelnachweise
<references> <ref name="cover">T. H. Cover, J. A. Thomas, Elements of Information Theory, S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9</ref> </references>