Maximum-Entropie-Methode

Vorlage:Hinweisbaustein Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesschen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine A-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze, wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“.

Ursprung und Vorgehensweise

Die Methode wurde 1957 von Edwin Thompson Jaynes in Anlehnung an Methoden der statistischen Mechanik und der Shannonschen Informationstheorie eingeführt.<ref>{{#invoke:Vorlage:Literatur|f}}</ref> Die Grundidee des Maximum-Entropie-Verfahrens ist es, in Situationen ohne spezifische Informationen, die Unsicherheit der A-priori-Wahrscheinlichkeiten so zu maximieren, dass keine willkürlichen Annahmen über die gegebene Situation gemacht werden müssen. Die Maximum-Entropie-Methode legt sich so wenig wie möglich fest. Jaynes zufolge<ref>{{#invoke:Vorlage:Literatur|f}}</ref> ist dies aber nur der letzte Schritt, um nach Einfüllen aller vorhandenen Information etwaige noch bestehende Lücken zu schließen.

In der statistischen Physik bedeutet dies: „Unter allen Zuständen eines physikalischen Systems, die kompatibel mit dem vorhandenen Wissen über das System sind, ist jener zu wählen, welcher die Entropie maximiert.“

Die Methode wird zur optimalen Extraktion von Information aus verrauschten Signalen in Abhängigkeit vom Signal-Rausch-Verhältnis verwendet. Sie findet auch in der Spektralanalyse und der digitalen Bildverarbeitung Anwendung.

Definition

Entropie ist ein Maß für den Informationsgehalt einer Zufallsvariable <math>X</math>. Ein weniger wahrscheinliches Ergebnis vermittelt mehr Informationen als ein wahrscheinlicheres Ergebnis. Entropie ist also ein Maß für die Unsicherheit eines Ergebnisses. Wenn das Ziel darin besteht, eine möglichst „unwissende“ Wahrscheinlichkeitsverteilung zu finden, sollte die Entropie folglich maximal sein. Formal ist Entropie wie folgt definiert:

Wenn <math>X</math> eine diskrete Zufallsvariable mit der Wahrscheinlichkeitsverteilung <math>P(X = x_i) = p_i</math> ist, dann ist die Entropie von <math>X</math> definiert als

Wenn <math>X</math> eine stetige Zufallsvariable mit der Wahrscheinlichkeitsdichte <math>p(x)</math> ist, dann ist die differentielle Entropie von <math>X</math> definiert als<ref name=":0">Michael Franke: The Maximum Entropy Principle</ref>

<math>\Eta(X) = - \int_{-\infty}^{+\infty} p(x) \log p(x) \, \mathrm dx</math>

Wallis-Verteilung

Ein Ansatz zur Berechnung der Entropie wurde von Graham Wallis vorgeschlagen. Es sind Informationen gegeben, die Wahrscheinlichkeiten <math>p_1, \ldots, p_m</math> verschiedenen Zufallsvariablen zuweisen. Die Gesamtwahrscheinlichkeit wird unter ihnen aufgeteilt, also gilt <math>\sum_{i=1}^{m} p_i = 1</math>.

Wählt man einige ganze Zahlen <math>n</math>, die wesentlich größer als <math>m</math> sind, und nimmt an, man hat <math>n</math> kleine Mengen von Wahrscheinlichkeiten, jeweils von der Größe <math>\delta = \tfrac{1}{n}</math>, um sie auf richtige Weise zu verteilen. Angenommen, man soll diese Mengen unter <math>m</math> Möglichkeiten zufällig verteilen. Wenn man diese Wahrscheinlichkeiten so verteilt, dass jede Box die gleiche Wahrscheinlichkeit hat, erhält man, dass das Zufallsexperiment folgende Wahrscheinlichkeiten hat: <math>p_i = n_i \cdot \delta = \tfrac{n_i}{n}</math>. Die Wahrscheinlichkeit, dass dies geschehen wird, ist die Multinomialverteilung <math> \frac{n!}{n_1! \cdot \dots \cdots n_m!}</math>.

Für große <math> n</math> folgt aus der Stirlingformel

<math>n! \sim \sqrt{2 \pi n} \; \left(\frac{n}{\mathcal{e}}\right)^{n}</math>

Logarithmieren ergibt

<math>\log(n!) \sim \log \left(\sqrt{2 \pi n}\right) + n \log \left(\tfrac{n}{e}\right)</math>

<math>\log(n!) \sim \log \left(\sqrt{2 \pi n}\right) + n \log(n) - n</math>

Nimmt man den Logarithmus von <math>W</math> und ersetzt <math>\log(n!)</math> durch die Näherung der Stirlingformel, erhält man schließlich die Definition der Informationsentropie, wie sie durch den Satz von Shannon abgeleitet wird:<ref name=":0" />

<math>-\sum_{i=1}^{m} p_i \log_2 p_i = \Eta(p_1, \ldots, p_m)</math>

Lagrange-Multiplikatoren

Anstatt die Einschränkungsgleichungen zu verwenden, um die Anzahl der Unbekannten zu verringern, kann man die Anzahl der Unbekannten erhöhen. Man definiert die Lagrange-Multiplikatoren <math>\alpha</math> und <math>\beta</math> und dann die Lagrange-Funktion

<math>L = S - (\alpha - \log_2 e) \left(\sum_{i} p(A_i) - 1\right) - \beta \left(\sum_{i} g(A_i)p(A_i) - G\right)</math>

wobei <math>\log_2 e \approx 1{,}4427</math>. Der Lagrange-Multiplikator <math>\alpha</math> wird wie Entropie in Bit gemessen, und <math>\beta</math> wird in Bit pro Einheit <math>G</math> gemessen. Wenn <math>S</math> in Joule pro Kelvin ausgedrückt wird und natürliche Logarithmen in der Entropiedefinition verwendet werden, ist die Formel für <math>L</math> etwas anders:

<math>L = S - k_B(\alpha - 1) \left(\sum_{i} p(A_i) - 1\right) - k_B\beta \left(\sum_{i} g(A_i)p(A_i) - G\right)</math>

und die Einheiten für <math>\alpha</math> und <math>\beta</math> sind nicht mehr in Bits: <math>\alpha</math> ist dimensionslos und <math>\beta</math> wird mit dem Inversen der Einheiten von <math>G</math> ausgedrückt.<ref>Massachusetts Institute of Technology: Principle of Maximum Entropy</ref>

Anwendungen in den Wirtschaftswissenschaften

Ein relativ neues Anwendungsgebiet der MEM stellt die Makroökonomik dar. Im Rahmen der ökonophysikalischen Strömung, die abseits des wirtschaftswissenschaftlichen Mainstreams verschiedene Methoden der statistischen Mechanik auf die Modellierung der Wirtschaft anwendet, kam es zur Verwendung der MEM.<ref>Duncan K. Foley: <templatestyles src="Webarchiv/styles.css" />{{#if:20060908212638

      | {{#ifeq: 20060908212638 | *
    | Vorlage:Webarchiv/Wartung/Stern{{#if: Statistical Equilibrium in Economics: Method, Interpretation, and an Example | {{#invoke:WLink|getEscapedTitle|Statistical Equilibrium in Economics: Method, Interpretation, and an Example}} | {{#invoke:Webarchiv|getdomain|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf}} }} (Archivversionen)
    | {{#iferror: {{#time: j. F Y|20060908212638}}
         | {{#if:  || }}Vorlage:Webarchiv/Wartung/DatumDer Wert des Parameters {{#if: wayback | wayback | Datum }} muss ein gültiger Zeitstempel der Form YYYYMMDDHHMMSS sein!
         | {{#if: Statistical Equilibrium in Economics: Method, Interpretation, and an Example | {{#invoke:WLink|getEscapedTitle|Statistical Equilibrium in Economics: Method, Interpretation, and an Example}} | {{#invoke:Webarchiv|getdomain|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf}} }} {{#ifeq:  | [] | [ | ( }}Memento{{#if: {{#if:  | {{{archiv-bot}}} |  }} |  des Vorlage:Referrer }} vom {{#time: j. F Y|20060908212638}} im Internet Archive{{#if:  | ;  }}{{#ifeq:  | [] | ] | ) }}
      }}
  }}
      | {{#if:
          | {{#iferror: {{#time: j. F Y|{{{webciteID}}}}}
    | {{#switch: {{#invoke:Str|len|{{{webciteID}}}}}
       | 16= {{#if: Statistical Equilibrium in Economics: Method, Interpretation, and an Example | {{#invoke:WLink|getEscapedTitle|Statistical Equilibrium in Economics: Method, Interpretation, and an Example}} | {{#invoke:Webarchiv|getdomain|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf}} }} {{#ifeq:  | [] | [ | ( }}Memento{{#if: {{#if:  | {{{archiv-bot}}} |  }} |  des Vorlage:Referrer }} vom {{#time: j. F Y| 19700101000000 + {{#expr: floor {{#expr: {{#invoke:Str|sub|{{{webciteID}}}|1|10}}/86400}} }} days}} auf WebCite{{#if:  | ;  }}{{#ifeq:  | [] | ] | ) }}
       | 9 = {{#if: Statistical Equilibrium in Economics: Method, Interpretation, and an Example | {{#invoke:WLink|getEscapedTitle|Statistical Equilibrium in Economics: Method, Interpretation, and an Example}} | {{#invoke:Webarchiv|getdomain|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf}} }} {{#ifeq:  | [] | [ | ( }}Memento{{#if: {{#if:  | {{{archiv-bot}}} |  }} |  des Vorlage:Referrer}} vom {{#time: j. F Y| 19700101000000 + {{#expr: floor {{#expr: {{#invoke:Str|sub|{{#invoke:Expr|base62|{{{webciteID}}}}}|1|10}}/86400}} }} days}} auf WebCite{{#if:  | ;  }}{{#ifeq:  | [] | ] | ) }}
       | #default= Der Wert des Parameters {{#if: webciteID | webciteID | ID }} muss entweder ein Zeitstempel der Form YYYYMMDDHHMMSS oder ein Schüsselwert mit 9 Zeichen oder eine 16-stellige Zahl sein!Vorlage:Webarchiv/Wartung/webcitation{{#if:  || }}
      }}
    | c|{{{webciteID}}}}} {{#if: Statistical Equilibrium in Economics: Method, Interpretation, and an Example | {{#invoke:WLink|getEscapedTitle|Statistical Equilibrium in Economics: Method, Interpretation, and an Example}} | {{#invoke:Webarchiv|getdomain|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf}} }} (Memento{{#if: {{#if:  | {{{archiv-bot}}} |  }} |  des Vorlage:Referrer}} vom {{#time: j. F Y|{{{webciteID}}}}} auf WebCite{{#if:  | ;  }}{{#ifeq:  | [] | ] | ) }}
  }}
          | {{#if: 
              | Vorlage:Webarchiv/Today
              | {{#if:
                      | Vorlage:Webarchiv/Generisch
                      | {{#if: Statistical Equilibrium in Economics: Method, Interpretation, and an Example | {{#invoke:WLink|getEscapedTitle|Statistical Equilibrium in Economics: Method, Interpretation, and an Example}} | {{#invoke:Webarchiv|getdomain|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf}} }}  
                 }}}}}}}}{{#if:
    | Vorlage:Webarchiv/archiv-bot
  }}{{#invoke:TemplatePar|check
     |all      = url=
     |opt      = text= wayback= webciteID= archive-is= archive-today= archiv-url= archiv-datum= ()= archiv-bot= format= original=
     |cat      = Wikipedia:Vorlagenfehler/Vorlage:Webarchiv
     |errNS    = 0
     |template = Vorlage:Webarchiv
     |format   = *
     |preview  = 1
  }}{{#ifexpr: {{#if:20060908212638|1|0}}{{#if:|+1}}{{#if:|+1}}{{#if:|+1}}{{#if:|+1}} <> 1
    | {{#if:  || }}Vorlage:Webarchiv/Wartung/Parameter{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Genau einer der Parameter 'wayback', 'webciteID', 'archive-today', 'archive-is' oder 'archiv-url' muss angegeben werden.|1}}
  }}{{#if: 
    | {{#switch: {{#invoke:Webarchiv|getdomain|{{{archiv-url}}}}}
        | web.archive.org = 
          {{#if:  || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von Internet Archive erkannt, bitte Parameter 'wayback' benutzen.|1}} 
        | webcitation.org = 
          {{#if:  || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von WebCite erkannt, bitte Parameter 'webciteID' benutzen.|1}} 
        | archive.today |archive.is |archive.ph |archive.fo |archive.li |archive.md |archive.vn = 
          {{#if:  || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von archive.today erkannt, bitte Parameter 'archive-today' benutzen.|1}}
      }}{{#if: 
         | {{#iferror: {{#iferror:{{#invoke:Vorlage:FormatDate|Execute}}|Vorlage:FormatDate/Wartung/Error}}
             | {{#if:  || }}Vorlage:Webarchiv/Wartung/Parameter{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Wert des Parameter 'archiv-datum' ist ungültig oder hat ein ungültiges Format.|1}}
          |  }} 
         | {{#if:  || }}Vorlage:Webarchiv/Wartung/Parameter{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Pflichtparameter 'archiv-datum' wurde nicht angegeben.|1}}
      }}
    | {{#if: 
         | {{#if:  || }}Vorlage:Webarchiv/Wartung/Parameter{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Parameter 'archiv-datum' ist nur in Verbindung mit 'archiv-url' angebbar.|1}}
      }}
  }}{{#if:{{#invoke:URLutil|isHostPathResource|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf}}
    || {{#if:  || }} URL/Pfad ungültig.
  }}{{#if: Statistical Equilibrium in Economics: Method, Interpretation, and an Example
    | {{#if: {{#invoke:WLink|isBracketedLink|Statistical Equilibrium in Economics: Method, Interpretation, and an Example}}
        | {{#if:  || }} Linktext ungültig.
      }}
    | {{#if:  || }}Vorlage:Webarchiv/Wartung/Linktext_fehlt Linktext fehlt.
  }}{{#switch: 
    |addlarchives|addlpages= {{#if:  || }}{{#if: 1 |Vorlage:Webarchiv/Wartung/Parameter}}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: enWP-Wert im Parameter 'format'.|1}}
  }}{{#ifeq: {{#invoke:Str|find|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf%7Carchiv}} |-1
    || {{#ifeq: {{#invoke:Str|find|{{#invoke:Str|cropleft|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf%7C4}}%7Chttp}} |-1
         || {{#switch: {{#invoke:Webarchiv|getdomain|http://homepage.newschool.edu/~foleyd/stateqnotes.pdf }}
              | abendblatt.de | daserste.ndr.de | inarchive.com | webcitation.org = 
              | #default = {{#if:  || }}{{#if: 1 |Vorlage:Webarchiv/Wartung/URL}}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Archiv-URL im Parameter 'url' anstatt URL der Originalquelle. Entferne den vor der Original-URL stehenden Mementobestandteil und setze den Archivierungszeitstempel in den Parameter 'wayback', 'webciteID', 'archive.today' oder 'archive-is' ein, sofern nicht bereits befüllt.|1}}
            }} 
       }}
  }} In: XII Workshop on „General Equilibrium: Problems, Prospects and Alternatives“ 07-1999 New School University, New York.</ref>

Anwendungen in der Ökologie

In der Biogeographie wird die Maximum-Entropie-Methode zur Modellierung von Verbreitungsgebieten verwendet. Ein Beispiel dafür ist die Software Maxent.<ref>Steven J. Phillips, Miroslav Dudík, Robert E. Schapire (2006): Maximum entropy modeling of species geographic distributions. Ecological Modelling 190, 231-259. pdf</ref>

Literatur

{{#invoke:Vorlage:Literatur|f}}
{{#invoke:Vorlage:Literatur|f}}

Weblinks

Einzelnachweise