imported>Marvin Zanke: Fehlende Klammer

2025-11-21T09:28:45Z

Fehlende Klammer

Neue Seite

[[Datei:Logistische Regression.svg|mini|400x400px|Beispiel einer logistischen Regression, welche an binäre Daten angepasst ist. Die Kurve zeigt die geschätzte (bedingte) Wahrscheinlichkeit, ein Examen zu bestehen (ja/nein), in Abhängigkeit von der Lernzeit.]]
Unter '''logistischer Regression''' oder '''Logit-Modell''' versteht man in der [[Statistik]] [[Regressionsanalyse]]n zur (meist multiplen) Modellierung der Verteilung abhängiger [[Zufallsvariable#Diskret|diskreter Variablen]]. Wenn logistische Regressionen nicht näher als [[Multinomiale logistische Regression|multinomiale]] oder [[Hierarchisch strukturierte Daten|geordnete]] logistische Regressionen gekennzeichnet sind, ist zumeist die binomiale logistische Regression für [[Dichotomie|dichotome]] (binäre) abhängige Variablen gemeint. Die unabhängigen Variablen können dabei ein beliebiges [[Skalenniveau]] aufweisen, wobei diskrete Variablen mit mehr als zwei Ausprägungen in eine Serie binärer [[Dummy-Variable]]n zerlegt werden.<ref name=":0">{{Literatur |Autor=Ludwig Fahrmeir, Thomas Kneib, Stefan Lang |Titel=Regression |Verlag=Springer Berlin Heidelberg |Ort=Berlin, Heidelberg |Datum=2009 |ISBN=978-3-642-01836-7 |DOI=10.1007/978-3-642-01837-4 |Online=http://link.springer.com/10.1007/978-3-642-01837-4}}</ref><ref name=":1">{{Literatur |Titel=Multiple Logistic Regression |Sammelwerk=Applied Logistic Regression |Verlag=John Wiley & Sons, Ltd |Datum=2000 |ISBN=978-0-471-72214-4 |DOI=10.1002/0471722146.ch2 |Seiten=31–46 |Online=https://onlinelibrary.wiley.com/doi/10.1002/0471722146.ch2}}</ref>

Im binomialen Fall liegen Beobachtungen der Art <math>(y_i;x_{i1},x_{i2}, \ldots ,x_{ik}), \, i = 1, \ldots ,n</math> vor, wobei <math>Y_i</math> eine binäre abhängige Variable (den so genannten Regressanden) bezeichnet, deren Wert <math>y_i \in \{0,1\}</math> zusammen mit bekannten und festen Werten von <math>k</math> Regressoren (Kovariablen, erklärenden Variablen) <math>x_{i1},x_{i2}, \ldots,x_{ik}</math> auftritt. <math>n</math> bezeichnet die Anzahl der Beobachtungen.<ref name=":0" /><ref name=":1" />

== Motivation ==
[[Datei:Mplwp logistic function.svg|mini|hochkant=1.6|[[Logistische Funktion]]; Verteilungsfunktion der [[logistische Verteilung|logistischen Verteilung]]]]
Die klassische [[Lineare Regression|lineare Regressionsanalyse]] eignet sich nicht zur Untersuchung von Einflüssen auf diskrete Variablen, da sie wichtige Annahmen wie die [[Normalverteilung]] der [[Störgröße und Residuum|Residuen]] und [[Homoskedastizität und Heteroskedastizität|Homoskedastizität]] häufig nicht erfüllt. Ein weiteres Problem tritt auf, wenn die abhängige Variable binär ist und mit den Werten <math>0</math> und <math>1</math> kodiert wird. Zwar könnte man die Vorhersage des Modells als [[Wahrscheinlichkeit]] für den Wert <math>1</math> der [[Abhängige und unabhängige Variable|abhängigen Variablen]] interpretieren <math>\mathrm{P}(Y_i=1)</math>, jedoch führt die lineare Regression oft zu unzulässigen Vorhersagen außerhalb des Bereichs <math>[0, 1]</math>.<ref name=":0" />

Die logistische Regression basiert auf dem [[Logit|Logit-Modell]], wobei die inverse Logit-Funktion ([[Sigmoidfunktion]]) auf die lineare Vorhersage angewendet wird. So wird sichergestellt, dass die Vorhersagen immer im gültigen Bereich <math>[0, 1]</math> liegen. Auf diese Weise liefert das Modell korrekte Wahrscheinlichkeiten und ist somit besser geeignet, um den Einfluss von unabhängigen Variablen auf binäre, diskrete abhängige Variablen zu untersuchen.<ref name=":0" />

Die Relevanz des Logit-Modells wird auch dadurch deutlich, dass [[Daniel McFadden]] und [[James Heckman]] im Jahr 2000 für ihren Beitrag zu seiner Entwicklung den [[Alfred-Nobel-Gedächtnispreis für Wirtschaftswissenschaften]] verliehen bekamen.

Das Modell der logistischen Regression ist ein Spezialfall des [[verallgemeinerte lineare Modelle|verallgemeinerten linearen Modells]].

== Modellspezifikation ==
Mit <math>x_{i1},\dots,x_{ik}</math> sind die Werte der Regressorvariablen für die <math>i</math>-te Beobachtung bezeichnet, mit <math>\beta_0, \beta_1, \ldots,\beta_k</math> sind die unbekannten [[Regressionskoeffizient]]en bezeichnet und mit
:<math>\eta_i := \beta_0 + x_{i1} \beta_1 +x_{i2} \beta_2+ \dotsc + x_{ik} \beta_k, \quad i=1,\dots,n</math>
sind die Werte des so genannten [[Lineare Prädiktorfunktion|linearen Prädiktors]] bezeichnet.

Die beobachteten Werte <math>y_i \in \{0,1\}</math> für <math>i=1,\dots,n</math> der erklärten Variablen werden als [[Realisierung (Stochastik)|Realisierungen]] stochastisch unabhängiger [[Bernoulli-verteilt]]er Zufallsvariablen <math>Y_1,\dots, Y_n</math> aufgefasst. Deren [[Bernoulli-Parameter]] hängt auf nichtlineare Art über die [[Verteilungsfunktion]]
:<math>F(x) = \frac{e^x}{1+e^x} = \frac{1}{1+e^{-x}},\quad x \in \R</math>
der [[logistische Verteilung|logistischen Verteilung]], die auch [[logistische Funktion]] heißt, vom linearen Prädiktor und damit von den Werten der Regressorvariablen ab.

Das Modell der logistischen Regression postuliert dann für die Bernoulli-verteilten Zufallsvariablen <math>Y_1,\dots, Y_n</math>:
# Die Zufallsvariablen <math>Y_1,\dots, Y_n</math> sind stochastisch unabhängig,
# <math>\mathrm{P}(Y_i=1)= F(\eta_i) = \frac{\exp(\eta_i)}{1+\exp(\eta_i)}=\frac{1}{1+\exp(-\eta_i)}, \quad i=1,\ldots, n </math>.

== Eigenschaften ==
Die Zufallsvariablen <math>Y_1,\dots,Y_n</math> sind im Allgemeinen nicht identisch verteilt. Aus <math>\eta_i = \eta_j</math> folgt, dass <math>Y_i</math> und <math>Y_j</math> identisch verteilt sind.

Für <math>i=1,\dots,n</math> gilt:
* <math>0 < \mathrm{P}(Y_i=1) < 1</math>
* <math>\mathrm{P}(Y_i=0) = 1 - \mathrm{P}(Y_i=1) = \frac{1}{1 + \exp(\eta_i)} \in (0,1)</math>
* <math>\mathrm{E}[Y_i] = \mathrm{P}(Y_i=1) = F(\eta_i)</math>
* <math>\mathrm{Var}[Y_i] = \mathrm{P}(Y_i=1)\big(1- \mathrm{P}(Y_i=1)\big) = F(\eta_i)F(-\eta_i)</math>
Die logistische Funktion <math>F</math> ist invertierbar. Die Umkehrfunktion
: <math>\mathrm{Logit}(p) := F^{-1}(p) = \ln\left(\frac{p}{1-p}\right), \quad 0 < p < 1</math>
heißt auch [[Logit-Funktion]]. Zu einer Wahrscheinlichkeit <math>0 < p< 1 </math> heißt <math>\mathrm{Logit}(p)</math> das [[Logit]] von <math>p</math>.

== Zur Interpretation ==
Ausgehend von der Gleichung <math>\mathrm{P}(Y_i=1)= F(\eta_i) </math> ist ersichtlich, dass <math>\eta_i=F^{-1}(\mathrm{P}(Y_i=1))</math> gilt, was äquivalent zu
<math>\eta_i=\ln \frac{\mathrm{P}(Y_i=1)}{1-\mathrm{P}(Y_i=1)}=\ln \underbrace{\frac{\mathrm{P}(Y_i=1)}{\mathrm{P}(Y_i=0)}}_{\operatorname{Odds}_i}</math> ist.

Somit geht das Modell der logistischen Regression von der Idee [[Chance (Stochastik)|Chancen]] ({{enS}} ''odds'') aus, d. h. dem Verhältnis von <math>\mathrm{P}(Y_i=1)</math> zur [[Wahrscheinlichkeitstheorie#Folgerungen|Gegenwahrscheinlichkeit]] <math>1-\mathrm{P}(Y_i=1) = \mathrm{P}(Y_i=0)</math> (bei Kodierung der Alternativkategorie mit 0)

: <math>\operatorname{Odds}_i :=\frac{\mathrm{P}(Y_i=1)}{1-\mathrm{P}(Y_i=1)}=\frac{\mathrm{P}(Y_i=1)}{\mathrm{P}(Y_i=0)}.</math>

[[Datei:Mplwp logit.svg|mini|hochkant=1.6|[[Funktionsgraph]] der [[Logit-Funktion]]]]

Die Chancen können zwar Werte größer 1 annehmen, doch ist ihr Wertebereich nach unten beschränkt (er nähert sich asymptotisch 0 an). Ein unbeschränkter Wertebereich wird durch die Transformation der Chancen in die sogenannten [[Logit]]s

:<math>\operatorname{Logit}_i :=\ln(\operatorname{Odds}_i)=\ln \left(\frac{\mathrm{P}(Y_i=1)}{\mathrm{P}(Y_i= 0)}\right)</math>

erzielt; diese können Werte zwischen minus und plus unendlich annehmen. Die Logits dienen als eine Art [[Kopplungsfunktion]] zwischen der Wahrscheinlichkeit und dem [[Linearer Prädiktor|linearen Prädiktor]]. In der logistischen Regression wird dann die Regressionsgleichung

: <math>\operatorname{Logit}_i = \beta_0 + x_{i1} \beta_1 +x_{i2} \beta_2+ \dotsc + x_{ik} \beta_k</math>

geschätzt; es werden also Regressionsgewichte bestimmt, nach denen die geschätzten Logits für gegebene Werte der Regressoren berechnet werden können. Die folgende Grafik zeigt, wie Logits ([[Ordinate]]) mit den Ausgangswahrscheinlichkeiten <math>\mathrm{P}(Y_i=1)</math> (Abszisse) zusammenhängen:

Die [[Regressionskoeffizient]]en der logistischen Regression sind nicht einfach zu interpretieren. Daher bildet man häufig die sogenannten Effektkoeffizienten durch Exponenzieren; die Regressionsgleichung bezieht sich dadurch auf die Chancen:

: <math>\frac{\mathrm{P}(Y_i=1)}{\mathrm{P}(Y_i=0)} = \operatorname{Odds}_i = \exp(\beta_0 + x_{i1} \beta_1 +x_{i2} \beta_2+ \dotsc + x_{ik} \beta_k).</math>

Betrachtet man nun die Änderung der <math>\operatorname{Odds}_i</math> der i-ten Untersuchungseinheit, wenn sich für die <math>j</math>-te erklärte Variable (<math> j \in \{1,\dots,k\}</math>) der Wert <math>x_{ij}</math> auf <math>x_{ij}+1</math> ändert, so betrachtet man:
: <math>\frac{\operatorname{Odds}_i (x_{i1},\dots, x_{ij}+1, \dots, x_{ik})}{\operatorname{Odds}_i (x_{i1},\dots,x_{ij},\dots, x_{ik})}
= \frac{\exp(\beta_j (x_{ij} +1))}{\exp(\beta_j x_{ij})} =\exp(\beta_j)</math>

Die Koeffizienten <math>\exp(\beta_j)</math> für <math>j=1,\dots,k</math> werden oft auch als Effektkoeffizienten bezeichnet. Sie beschreiben das [[Chancenverhältnis]], (eng. odds ratio) wenn sich <math>x_{ij}</math> um <math>\Delta x_{ij}=1</math> ändert. Hier bedeuten Effektkoeffizienten kleiner 1 einen negativen Einfluss auf die Chancen, ein positiver Einfluss ist gegeben, wenn <math>\exp(\beta_j) > 1</math>.

Durch eine weitere Transformation lassen sich die Einflüsse der logistischen Regression auch als Einflüsse auf die Wahrscheinlichkeiten <math>\mathrm{P}(Y_i=1)</math> ausdrücken:

: <math>\mathrm{P}(Y_i=1) = F(\eta_i) = \frac{\exp(\beta_0 + x_{i1} \beta_1 +x_{i2} \beta_2+ \dotsc + x_{ik} \beta_k)}{1 + \exp(\beta_0 + x_{i1} \beta_1 +x_{i2} \beta_2+ \dotsc + x_{ik} \beta_k)}.</math>

== Schätzmethode und Likelihoodfunktion ==
Anders als bei der linearen Regressionsanalyse ist eine direkte Berechnung der besten Regressionskurve nicht möglich. Deshalb wird zumeist mit einem [[Iteration|iterativen]] [[Algorithmus]]<ref>Paul David Allison: ''Logistic regression using the SAS system theory and application''. SAS Institute, Cary NC 1999, S. 48.</ref> eine [[Maximum-Likelihood-Methode|Maximum-Likelihood-Lösung]] geschätzt.

Aus den Modellannahmen ergibt sich die [[Likelihoodfunktion]]
:<math> L(\beta_0, \beta_1, \ldots,\beta_k) = \prod_{i=1}^n \mathrm{P}(Y_i= y_i) = \prod_{i:y_i=1}\mathrm{P}(Y_i= 1)\,\prod_{i:y_i=0}\mathrm{P}(Y_i= 0)
= \prod_{i=1}^n \left(\frac{\exp(\eta_i)}{1+\exp(\eta_i)}\right)^{y_i} \left(\frac{1}{1+\exp(\eta_i)}\right)^{1-y_i}\;, </math>
deren numerische Maximierung bei fixierten Werten <math>y_i, x_{i1},\dots,x_{ik}</math> für <math>i=1,\dots, n</math> zum [[Maximum-Likelihood-Schätzung|Maximum-Likelihood-Schätzwert]] <math>(b_0, b_1,\dots, b_k)</math> für den Parametervektor <math>(\beta_0, \beta_1, \ldots,\beta_k) </math> führt.

Falls einzelne Parameter interpretiert werden sollen, und nicht nur der lineare Prädiktor zur Prognose verwendet werden soll,
ist [[Multikollinearität]] der Regressoren schädlich.

Aus den Maximum-Likelihood-Schätzwerten <math>b_0, b_1,\dots, b_k</math> für die unbekannten Parameter <math>\beta_0, \beta_1, \ldots,\beta_k</math> erhält man durch Ersetzen die Schätzwerte
:<math>\hat \eta_i = b_0 + x_{i1} b_1 +x_{i2} b_2+ \dotsc + x_{ik} b_k, \quad i=1,\dots,n</math>
für die linearen Prädiktoren <math>\eta_i</math> und die Schätzwerte
:<math> \hat P(Y_i = 1) = F(\hat\eta_i),\quad i=1,\dots,n </math>
für die Wahrscheinlichkeiten <math>P(Y_i = 1)</math>.

== Modelldiagnose ==
Die Regressionsparameter werden auf der Grundlage des [[Maximum-Likelihood-Methode#Maximum-Likelihood-Schätzung|Maximum-Likelihood-Verfahrens]] geschätzt. Inferenzstatistische Verfahren stehen sowohl für die einzelnen Regressionskoeffizienten als auch für das Gesamtmodell zur Verfügung (siehe [[Wald-Test]] und [[Likelihood-Quotienten-Test]]).

=== Regressionsdiagnostik ===
In Analogie zum linearen Regressionsmodell wurden Verfahren der [[Regressionsdiagnostik]] entwickelt, anhand derer einzelne Fälle mit übergroßem Einfluss auf das Ergebnis der Modellschätzung identifiziert werden können. Es gibt auch einige Vorschläge zur Berechnung einer Größe, die in Analogie zum [[Bestimmtheitsmaß]] <math>\mathit{R}^2</math> der [[Lineare Regression|linearen Regression]] eine Abschätzung der „[[Erklärte Quadratsumme|erklärten Variation]]“ erlaubt; man spricht hier von sogenannten [[Pseudo-Bestimmtheitsmaß]]en. Auch das [[Informationskriterium#Akaike-Informationskriterium|Informationskriterium nach Akaike]] und das [[Informationskriterium#Bayessches Informationskriterium|bayessche Informationskriterium]] werden in diesem Kontext gelegentlich herangezogen. Ebenfalls wird die [[ROC-Kurve]] zur Beurteilung der Vorhersagekraft logistischer Regressionen verwendet, wobei die [[Fläche unter der Kurve|Fläche unter der ROC-Kurve]] (kurz: ''AUROC'') als Gütekriterium fungiert.<ref>{{Literatur|Autor=David M. Hosmer, Stanley Lemeshow, Rodney X. Sturdivant |Titel=Applied logistic regression |Datum=2013 |Fundstelle=Abschnitt 5.2.4 ''Area Under the ROC Curve''}}</ref>

=== Hosmer-Lemeshow-Test ===
{{Hauptartikel|Hosmer-Lemeshow-Test}}
Insbesondere bei Modellen zur [[Risikoadjustierung]] wird häufig der Hosmer-Lemeshow-Test zur Bewertung der [[Anpassungsgüte]] verwendet.<ref>{{Literatur |Autor=David W. Hosmer, Stanley Lemeshow |Titel=Goodness of fit tests for the multiple logistic regression model |Sammelwerk=Communications in Statistics – Theory and Methods |Band= 9 |Nummer=10 |Datum=1980| Seiten=1043–1069 |DOI=10.1080/03610928008827941}}</ref><ref>{{Literatur|Autor=David M. Hosmer, Stanley Lemeshow, Rodney X. Sturdivant |Titel=Applied logistic regression |Datum=2013 |Fundstelle=Abschnitt 5.2.2 ''The Hosmer-Lemeshow Tests''}}</ref> Die Berechnung der Testgröße beruht auf den beobachteten Werten <math>y_1,\dots, y_n \in\{0,1\}</math> und den Schätzwerten
:<math>p_i := \hat P(Y_i=1) = F(\hat\eta_i),\quad i=1,\dots,n</math>
für die Eintrittswahrscheinlichkeiten. Die Grundidee dieses Tests ist, dass sich für eine Teilmengen der Untersuchungseinheiten mit ähnlichen geschätzten Eintrittswahrscheinlichkeiten die beobachteten relativen Häufigkeiten der eingetretenen Ereignisse und die durchschnittlichen geschätzten Eintrittswahrscheinlichkeiten nicht zu stark unterscheiden.

== Alternativen und Erweiterungen ==
Eine Erweiterung der logistischen Regression stellt die [[ordinale logistische Regression]] (Geordnete logistische Regression) dar; eine Variante dieser ist das [[Kumulatives Logit-Modell|kumulative Logit-Modell]].

Als (im Wesentlichen gleichwertige) Alternative kann das [[Probit-Modell]] herangezogen werden, bei dem eine Normalverteilung zugrunde gelegt wird.

Eine Übertragung der logistischen Regression (und des Probit-Modells) auf eine abhängige Variable mit mehr als zwei diskreten Merkmalen ist möglich – dies ist die [[multinomiale logistische Regression]].

== Literatur ==
* Alan Agresti: ''Categorical Data Analysis.'' 2. Auflage. Wiley, New York 2002, ISBN 0-471-36093-7.
* [[Hans-Jürgen Andreß]], J.-A. Hagenaars, Steffen Kühnel: ''Analyse von Tabellen und kategorialen Daten.'' Springer, Berlin 1997, ISBN 3-540-62515-1.

* {{Literatur |Autor=David M. Hosmer, Stanley Lemeshow, Rodney X. Sturdivant |Titel=Applied Logistic Regression |Reihe=Wiley Series in Probability and Statistics |Verlag=Wiley |Ort=Hoboken |Datum=2013 |Auflage=3 |ISBN=978-0-470-58247-3 |DOI=10.1002/9781118548387}}
* Dieter Urban: ''Logit Analyse.'' Lucius & Lucius, Stuttgart 1998, ISBN 3-8282-4306-1.
* Scott J. Long: ''Regression Models for Categorical and Limited Dependent Variables.'' Sage 1997, ISBN 0-8039-7374-8.
* {{Literatur|Autor=[[Gerhard Tutz]] |Titel=Die Analyse kategorialer Daten – Anwendungsorientierte Einführung in Logit-Modellierung und kategoriale Regression |Verlag=Oldenbourg |Ort=München / Wien |Datum=2000 |ISBN=3-486-25405-7 |Fundstelle= Kap. 2 ''Logistische Regression und Logit-Modell für binäre abhängige Größe'', S. 29–65}}
* {{Literatur|Autor=Gerhard Tutz |Titel=Regression for Categorical Data |Verlag=Cambridge University Press |Ort=Cambridge |Datum=2012 |ISBN=978-1-107-00965-3 |Fundstelle=Kap. 2 ''Binary Regression: The Logit Model'', S. 29–50}}

== Weblinks ==
* [http://nobelprize.org/nobel_prizes/economics/laureates/2000/mcfadden-lecture.html Rede von Daniel McFadden zur Nobelpreisverleihung: Geschichte der Logit-Regression (englisch)]
* [http://felix-bittmann.de/downloads/artikel/einfuehrung_logit_regression_mit_SPSS.pdf Einführung in die Logistische Regression mit SPSS] (PDF; 2,2 MB)

== Einzelnachweise ==
<references />

[[Kategorie:Regressionsmodell]]
[[Kategorie:Verallgemeinerte lineare Modelle]]

Logistische Regression - Versionsgeschichte

imported>Marvin Zanke: Fehlende Klammer