Rényi-Entropie

In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Diversität, Ungewissheit oder Zufälligkeit eines Systems dienen.

Die Rényi-Entropie der Ordnung α, wobei α > 0, ist definiert als:

<math>H_\alpha(X) = \frac{1}{1-\alpha}\log_2\Bigg(\sum_{i=1}^n p_i^\alpha\Bigg)</math>

Hierbei ist X eine Zufallsvariable mit Wertebereich {x₁, x₂ ... x_n} und p_i die Wahrscheinlichkeit, dass X=x_i. Wenn die Wahrscheinlichkeiten p_i alle gleich sind, dann ist H_α(X)=log₂ n, unabhängig von α. Andernfalls sind die Entropien monoton fallend als eine Funktion von α.

Hier einige Einzelfälle:

<math>H_0 (X) = \log_2 n = \log_2 |X|,\,</math>

welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird.

Nähert sich die Grenze von <math>\alpha</math> gegen 1 (L’Hospital) so ergibt sich:

<math>H_1 (X) = - \sum_{i=1}^n p_i \log_2 p_i </math>

das der „Shannon-Entropie/Informationsentropie“ entspricht.

Weiter

<math>H_2 (X) = - \log_2 \sum_{i=1}^n p_i^2</math>

das der „Korrelationsentropie“ entspricht. Der Grenzwert von <math>H_\alpha</math> für <math>\alpha \rightarrow \infty </math> ist

<math>H_\infty (X) = - \log_2 \sup_{i=1..n} p_i </math>

und wird auch Min-Entropie genannt, da es der kleinste Wert von <math>H_\alpha</math> ist.

Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der fraktalen Dimension.

Literatur

• Dieter Masak: IT-Alignment. IT-Architektur und Organisation, Springer Verlag, Berlin / Heidelberg 2006, ISBN 978-3-540-31153-9.
• Lienhard Pagel: Information ist Energie. Definition eines physikalisch begründeten Informationsbegriffs, Springer Fachmedien, Wiesbaden 2013, ISBN 978-3-8348-2611-4.

Weblinks

• Shannon Entropy, Renyi Entropy, and Information (abgerufen am 23. Februar 2018)
• Rényi Entropy and the Uncertainty Relations (abgerufen am 23. Februar 2018)
• Berechnung von Information und Komplexität (abgerufen am 23. Februar 2018)
• Characterizations of Shannon and Renyi entropy (abgerufen am 23. Februar 2018)
• Convexity/Concavity of Renyi Entropy and α-Mutual Information (abgerufen am 23. Februar 2018)