imported>SchlurcherBot: Bot: http → https

2026-04-15T02:33:51Z

Bot: http → https

Neue Seite

{{Überarbeiten}}
Die '''Maximum-Entropie-Methode''' oder '''MEM''' ist eine Methode der [[Bayessche Statistik|Bayesschen Statistik]], die erlaubt, trotz mangelhafter problemspezifischer Information eine [[A-priori-Wahrscheinlichkeit]] zuzuweisen. Sie ersetzt frühere Ansätze, wie etwa das von [[Pierre-Simon Laplace|Laplace]] formulierte „[[Prinzip vom unzureichenden Grund]]e“.

== Ursprung und Vorgehensweise ==

Die Methode wurde 1957 von [[Edwin Thompson Jaynes]] in Anlehnung an Methoden der [[statistische Mechanik|statistischen Mechanik]] und der [[Claude Elwood Shannon|Shannonschen]] [[Informationstheorie]] eingeführt.<ref>{{Literatur |Autor=Edwin Thompson Jaynes |Titel=Information Theory and Statistical Mechanics |Sammelwerk=The Physical Review |Band=106 |Nummer=4 |Seiten=620–630 |Datum=1957-05-15 |Online=[https://bayes.wustl.edu/etj/articles/theory.1.pdf bayes.wustl.edu] |Format=PDF |KBytes=}}</ref> Die Grundidee des Maximum-Entropie-Verfahrens ist es, in Situationen ohne spezifische Informationen, die Unsicherheit der [[A-priori-Wahrscheinlichkeit|A-priori-Wahrscheinlichkeiten]] so zu maximieren, dass keine willkürlichen Annahmen über die gegebene Situation gemacht werden müssen. Die Maximum-Entropie-Methode legt sich so wenig wie möglich fest. Jaynes zufolge<ref>{{Literatur |Autor=Persi Diaconis |Titel=A Frequentist Does This, A Bayesian That |Datum=2004-03-13 |Sammelwerk=SIAM News |Online=[http://www.siam.org/news/news.php?id=81 volltext] |Abruf=2007-12-28 }}</ref> ist dies aber nur der letzte Schritt, um nach Einfüllen aller vorhandenen Information etwaige noch bestehende Lücken zu schließen.

In der statistischen Physik bedeutet dies: „''Unter allen Zuständen eines physikalischen Systems, die kompatibel mit dem vorhandenen Wissen über das System sind, ist jener zu wählen, welcher die Entropie maximiert.''“

Die Methode wird zur optimalen Extraktion von [[Information]] aus [[Rauschen (Physik)|verrauschten]] [[Signal]]en in Abhängigkeit vom [[Signal-Rausch-Verhältnis]] verwendet. Sie findet auch in der [[Fourieranalyse|Spektralanalyse]] und der digitalen [[Bildverarbeitung]] Anwendung.

== Definition ==
[[Entropie (Informationstheorie)|Entropie]] ist ein Maß für den [[Informationsgehalt]] einer [[Zufallsvariable]] <math>X</math>. Ein weniger wahrscheinliches Ergebnis vermittelt mehr Informationen als ein wahrscheinlicheres Ergebnis. Entropie ist also ein Maß für die Unsicherheit eines Ergebnisses. Wenn das Ziel darin besteht, eine möglichst „unwissende“ [[Wahrscheinlichkeitsverteilung]] zu finden, sollte die Entropie folglich maximal sein. Formal ist Entropie wie folgt definiert:

Wenn <math>X</math> eine [[diskrete Zufallsvariable]] mit der [[Wahrscheinlichkeitsverteilung]] <math>P(X = x_i) = p_i</math> ist, dann ist die [[Entropie (Informationstheorie)|Entropie]] von <math>X</math> definiert als
:<math>\Eta(X) = -\sum_i p_i \log_2 p_i</math>

Wenn <math>X</math> eine [[stetige Zufallsvariable]] mit der [[Wahrscheinlichkeitsdichtefunktion|Wahrscheinlichkeitsdichte]] <math>p(x)</math> ist, dann ist die [[differentielle Entropie]] von <math>X</math> definiert als<ref name=":0">Michael Franke: [https://michael-franke.github.io/intro-data-analysis/the-maximum-entropy-principle.html The Maximum Entropy Principle]</ref>
:<math>\Eta(X) = - \int_{-\infty}^{+\infty} p(x) \log p(x) \, \mathrm dx</math>

== Wallis-Verteilung ==
Ein Ansatz zur Berechnung der [[Entropie (Informationstheorie)|Entropie]] wurde von Graham Wallis vorgeschlagen. Es sind Informationen gegeben, die [[Wahrscheinlichkeit]]en <math>p_1, \ldots, p_m</math> verschiedenen [[Zufallsvariable]]n zuweisen. Die Gesamtwahrscheinlichkeit wird unter ihnen aufgeteilt, also gilt <math>\sum_{i=1}^{m} p_i = 1</math>.

Wählt man einige [[Ganze Zahl|ganze Zahlen]] <math>n</math>, die wesentlich größer als <math>m</math> sind, und nimmt an, man hat <math>n</math> kleine Mengen von [[Wahrscheinlichkeit]]en, jeweils von der Größe <math>\delta = \tfrac{1}{n}</math>, um sie auf richtige Weise zu verteilen. Angenommen, man soll diese Mengen unter <math>m</math> Möglichkeiten zufällig verteilen. Wenn man diese Wahrscheinlichkeiten so verteilt, dass jede Box die gleiche Wahrscheinlichkeit hat, erhält man, dass das [[Zufallsexperiment]] folgende Wahrscheinlichkeiten hat: <math>p_i = n_i \cdot \delta = \tfrac{n_i}{n}</math>. Die Wahrscheinlichkeit, dass dies geschehen wird, ist die [[Multinomialverteilung]] <math> \frac{n!}{n_1! \cdot \dots \cdots n_m!}</math>.

Für große <math> n</math> folgt aus der [[Stirlingformel]]
:<math>n! \sim \sqrt{2 \pi n} \; \left(\frac{n}{\mathcal{e}}\right)^{n}</math>

[[Logarithmieren]] ergibt
:<math>\log(n!) \sim \log \left(\sqrt{2 \pi n}\right) + n \log \left(\tfrac{n}{e}\right)</math>
:<math>\log(n!) \sim \log \left(\sqrt{2 \pi n}\right) + n \log(n) - n</math>

Nimmt man den Logarithmus von <math>W</math> und ersetzt <math>\log(n!)</math> durch die Näherung der [[Stirlingformel]], erhält man schließlich die Definition der [[Informationsentropie]], wie sie durch den [[Satz von Shannon]] abgeleitet wird:<ref name=":0" />
:<math>-\sum_{i=1}^{m} p_i \log_2 p_i = \Eta(p_1, \ldots, p_m)</math>

== Lagrange-Multiplikatoren ==
Anstatt die Einschränkungsgleichungen zu verwenden, um die Anzahl der Unbekannten zu verringern, kann man die Anzahl der Unbekannten erhöhen. Man definiert die [[Lagrange-Multiplikator]]en <math>\alpha</math> und <math>\beta</math> und dann die Lagrange-Funktion
:<math>L = S - (\alpha - \log_2 e) \left(\sum_{i} p(A_i) - 1\right) - \beta \left(\sum_{i} g(A_i)p(A_i) - G\right)</math>
wobei <math>\log_2 e \approx 1{,}4427</math>. Der Lagrange-Multiplikator <math>\alpha</math> wird wie [[Entropie (Informationstheorie)|Entropie]] in [[Bit]] gemessen, und <math>\beta</math> wird in Bit pro Einheit <math>G</math> gemessen. Wenn <math>S</math> in Joule pro Kelvin ausgedrückt wird und [[Natürlicher Logarithmus|natürliche Logarithmen]] in der Entropiedefinition verwendet werden, ist die Formel für <math>L</math> etwas anders:
:<math>L = S - k_B(\alpha - 1) \left(\sum_{i} p(A_i) - 1\right) - k_B\beta \left(\sum_{i} g(A_i)p(A_i) - G\right)</math>
und die Einheiten für <math>\alpha</math> und <math>\beta</math> sind nicht mehr in Bits: <math>\alpha</math> ist dimensionslos und <math>\beta</math> wird mit dem Inversen der Einheiten von <math>G</math> ausgedrückt.<ref>Massachusetts Institute of Technology: [https://mtlsites.mit.edu/Courses/6.050/2003/notes/chapter10.pdf Principle of Maximum Entropy]</ref>

== Anwendungen in den Wirtschaftswissenschaften ==

Ein relativ neues Anwendungsgebiet der MEM stellt die Makroökonomik dar. Im Rahmen der [[Ökonophysik|ökonophysikalischen Strömung]], die abseits des wirtschaftswissenschaftlichen Mainstreams verschiedene Methoden der statistischen Mechanik auf die Modellierung der Wirtschaft anwendet, kam es zur Verwendung der MEM.<ref>Duncan K. Foley: ''{{Webarchiv | url=http://homepage.newschool.edu/~foleyd/stateqnotes.pdf | wayback=20060908212638 | text=Statistical Equilibrium in Economics: Method, Interpretation, and an Example}}'' In: ''XII Workshop on „General Equilibrium: Problems, Prospects and Alternatives“'' 07-1999 New School University, New York.</ref>

== Anwendungen in der Ökologie ==
In der [[Biogeographie]] wird die Maximum-Entropie-Methode zur [[Modell]]ierung von [[Verbreitungsgebiet]]en verwendet. Ein Beispiel dafür ist die Software [[Maxent (Software)|Maxent]].<ref>Steven J. Phillips, Miroslav Dudík, Robert E. Schapire (2006): ''Maximum entropy modeling of species geographic distributions''. Ecological Modelling 190, 231-259. [http://www.cs.princeton.edu/~schapire/papers/ecolmod.pdf pdf]</ref>

== Literatur ==
* {{Literatur |Autor=Edwin Thompson Jaynes |Titel=Information Theory and Statistical Mechanics |Sammelwerk=The Physical Review |Band=106 |Nummer=4 |Seiten=620–630 |Datum=1957-05-15 |Online=[https://bayes.wustl.edu/etj/articles/theory.1.pdf bayes.wustl.edu] |Format=PDF |KBytes=}}
* {{Literatur |Autor=Nailong Wu |Titel=The Maximum Entropy Method |Verlag=Springer |Ort=Berlin |Datum=1997 |ISBN=978-3-540-61965-9}}

== Weblinks ==
* [http://cmm.cit.nih.gov/maxent/ Eine Einführung (auf Englisch)]
* [http://aips2.nrao.edu/docs/glossary/m.html#Maximum_Entropy_Method Kurzerklärung (auf Englisch)]

== Einzelnachweise ==
<references />

[[Kategorie:Bayessche Statistik]]
[[Kategorie:Mathematische Statistik]]

Maximum-Entropie-Methode - Versionsgeschichte

imported>SchlurcherBot: Bot: http → https