Quelltext der Seite Bootstrap aggregating

[[Datei:Ensemble Bagging.svg|mini|340px|Illustration des Baggingkonzeptes]]

'''Bootstrap aggregating''' ('''Bagging''') ist eine [[Ensemble learning|Ensemble-learning]]-Methode, um Vorhersagen aus verschiedenen Regressions- oder Klassifikationsmodellen (mit hoher Varianz in der Vorhersage) zu kombinieren und dadurch die Varianz zu verringern.
Die Methode wurde ursprünglich von [[Leo Breiman]] entwickelt.<ref>{{cite journal |author=Leo Breiman |year=1996 |title=Bagging predictors |journal=[[Machine Learning (journal)|Machine Learning]] |volume=24 |issue=2 |pages=123–140 |doi=10.1007/BF00058655 |url=http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.121.7654&rep=rep1&type=pdf |language=en}}</ref> Bootstrap aggregating wird beispielsweise bei [[Random Forest]]s eingesetzt.

== Vorgehensweise ==
Zunächst wird mithilfe des [[Bootstrapping-Verfahren]]s <math>B</math> [[Stichprobenwiederholung]]en des Umfanges <math>n</math> aus dem Originaldatensatz erzeugt und auf diesen werden dann <math>B</math> Vorhersagemodelle <math>m_i</math> (<math>i=1, \dots, B</math>) trainiert. Für einen Wert <math>x</math> ergeben sich dann <math>B</math> Vorhersagewerte <math>m_i(x)</math>.
Die Ergebnisse der Modelle werden dann mit einer Aggregationsfunktion (z.&nbsp;B. Mittelwert, Median, Majority Voting etc.) zusammengefasst:
* Ist der Vorhersagewert eine Klassenzugehörigkeit, dann könnte die am häufigsten vorhergesagte Klasse als Vorhersagewert <math>m^B(x)</math> genommen werden (Aggregierung über Majority-Voting)
* Im Regressionsfall ergibt sich bei Aggregierung über den Mittelwert der Vorhersagewert als
:<math>m^B(x) = \tfrac1B (m_1(x) + \cdots + m_B(x))</math> oder allgemein mit Gewichten <math>w_i</math>
:<math>m^B(x) = w_1 m_1(x) + \cdots + w_B m_B(x)</math>.

Bei einer [[Aggregierungsfunktion]], welche die einzelnen internen Modelle gewichtet, könnten die Gewichte z.&nbsp;B. von der Qualität der Modellvorhersage abhängen, d.&nbsp;h. „gute“ Modelle gehen mit einem größeren Gewicht ein als „schlechte“ Modelle.

== Eigenschaften ==
Das Bagging führt im Fall von ''instabilen'' Modellen, d.&nbsp;h. Modellen, in denen sich die Struktur stark in Abhängigkeit von den Stichprobendaten ändert (siehe z.&nbsp;B. [[CART (Algorithmus)|Classification and Regression Trees]]), meist zu deutlich verbesserten Vorhersagen.

== Siehe auch ==
* [[Boosting]]

== Einzelnachweise ==
<references />

== Literatur ==
* Ian H. Witten, Eibe Frank, Mark A. Hall (2011), ''Data Mining: Practical Machine Learning Tools and Techniques (Third Edition)'',  Morgan Kaufmann

[[Kategorie:Regressionsanalyse]]
[[Kategorie:Data-Mining]]
[[Kategorie:Maschinelles Lernen]]