imported>Biggerj1: /* Herausforderung */

2025-06-15T20:34:01Z

Herausforderung

Neue Seite

Der '''A/B-Test''' (auch ''split test)'' ist eine Testmethode zur Bewertung zweier [[Variante (Produkt)|Varianten]] eines Systems, bei der die Originalversion gegen eine leicht veränderte Version getestet wird. Anwendung findet diese Methode hauptsächlich bei [[Software]] und im [[Webdesign]] mit dem Ziel, eine bestimmte Nutzeraktion oder Reaktionen zu steigern.<ref>{{Internetquelle |autor=Ron Kohavi, Roger Longbotham |url=https://www.exp-platform.com/Documents/2015%20Online%20Controlled%20Experiments_EncyclopediaOfMLDM.pdf |titel=Online Controlled Experiments and A/B Tests |datum=2015-04-25 |format=PDF |sprache=en |abruf=2016-02-08}}</ref> Im Laufe der Jahre hat es sich zu einer der wichtigsten Testmethoden im [[Online-Marketing]] entwickelt. Mit dem A/B-Test werden aber auch Preise, Designs und Werbemaßnahmen verglichen.<ref>{{Internetquelle |url=https://www.gruenderszene.de/lexikon/begriffe/ab-test?interstitial_click |titel=A/B-Test Definition |abruf=2018-08-09}}</ref>

Der A/B-Test ist eine Form eines [[Randomisiertes Experiment|randomisierten Experiments]] oder eines [[Randomisierte kontrollierte Studie|randomisiert kontrollierten Experiments]], falls eine der A/B-Gruppen als [[Kontrollgruppe]] fungiert.

== Vorgehensweise ==
[[Datei:Ab-test.jpg|mini|Ablauf einer Anzeigenoptimierung durch einen A/B-Splittest]]

Beim A/B-Test wird die [[Zielgruppe]] (z. B. Besucher einer [[Webseite]] oder Empfänger eines [[Newsletter]]s) in zwei Untergruppen aufgeteilt: Gruppe A und Gruppe B. Diese Aufteilung muss zufällig erfolgen ([[Randomisierung]]).<ref name="Kreutzer">R. T. Kreutzer: ''Online-marketing.'' Springer Gabler, Wiesbaden 2016, S. 141.</ref>

Entsprechend der Aufteilung der Zielgruppe wird auch das Testobjekt, wie beispielsweise eine [[Landingpage]] oder eine [[Anzeige (Medien)|Anzeige]], zweigeteilt produziert: die Originalvariante und eine veränderte Variante. Beide Varianten sollten sich nur in einer Komponente unterscheiden, denn nur so können Unterschiede in den Reaktionen eindeutig auf die Änderung zurückgeführt werden.<ref name="Kreutzer" /> Anschließend wird bei der Gruppe A das Original und bei der Gruppe B die veränderte Version eingesetzt und die Reaktionen verglichen.

Mit Reaktion ist hierbei das gewünschte Wirkungsergebnis gemeint, wie zum Beispiel eine Registrierung, die Anmeldung für einen Newsletter oder Bestellung eines Produktes. Neben der Verbesserung des [[User Experience|Nutzererlebnisses]] sind A/B-Tests somit auch ein Mittel zur Steigerung der [[Konversion (Marketing)|Konversionsrate]].

Das für einen A/B-Test genutzte statistische Testverfahren hängt von den Eigenschaften der genutzten Daten ab. Von den Zwei-Stichproben-Hypothesentests kommen je nach Anwendungsfall bspw. [[Zweistichproben-t-Test#Welch-Test|Welch-t-Test]], [[Exakter Test nach Fisher|Fishers exakter Test]], [[Chi-Quadrat-Test]], [[Wilcoxon-Mann-Whitney-Test]] und [[Permutationstest]] in Frage.

== Voraussetzung/Abgrenzung ==
Beim A/B-Test wird im Gegensatz zum [[Multivariate Verfahren|multivariaten]] Test nur eine Variable verändert und auf ihre Wirksamkeit hin getestet. Damit ein A/B-Test effektiv ist und die Ergebnisse [[Validität]] erreichen, muss eine ausreichende [[Trennschärfe eines Tests|Trennschärfe]] gegeben sein. Insbesondere ist somit beim Design des Tests zu beachten, dass die Größe der Stichproben hinreichend gewählt ist, dass der (gewünschte) minimal detektierbare Effekt auch zuverlässig detektiert werden kann.

Wichtig ist beim A/B-Testing darüber hinaus, dass im Vorfeld entsprechende Ziele und [[Hypothese]]n definiert werden, um im Nachhinein den Erfolg bzw. Misserfolg einer Maßnahme einschätzen zu können. Dabei arbeitet man mit zwei Arten von Hypothesen: Hypothesen, die aussagen, dass ein bestehendes Element das Ziel fördert und Hypothesen, die noch nicht umgesetzt und nicht mit Zahlen belegt wurden, aber (scheinbar) logisch sind. Ein Beispiel für eine Hypothese wäre: „Ein gelber Kaufen-Button fördert die Conversion-Rate“. Um ein klares Ergebnis zu erhalten, sollte man Hypothesen immer einzeln testen.

== Herausforderung ==
Wiederholtes A/B-Testing z. B. mit [[Brunner-Munzel-Test]] oder [[Wilcoxon-Mann-Whitney-Test]] (<math> H_0: \theta = \mathbb{P}(X > Y) + \frac{1}{2} \mathbb{P}(X = Y) = 0{,}5 </math>, <math> H_1: \theta > 0{,}5 </math> (einseitig), <math> H_1: \theta \ne 0{,}5 </math> (zweiseitig)) ist bei nicht-transitiven Strukturen wie den [[Intransitive Würfel|intransitiven Würfeln]] problematisch, weil es Dominanz nur paarweise prüft und keine globale Konsistenz verlangt. So kann jeder einzelne Test korrekt eine Dominanz feststellen (z. B. A > B, B > C, C > A), allerdings stellen diese Aussagen keine [[totale Ordnung]] her.

Lösungen können hier globale [[Ranking]]-Methoden sein (bspw. Bradley-Terry-Model oder Plackett-Luce-Modell). Alternativ lässt sich durch Betrachtung der stationären Verteilung einer aus den paarweisen Vergleichen abgeleiteten [[Markov-Kette]] eine konsistente Gesamtrangfolge herstellen (bzw. siehe auch eigenvektorbasiertes Ranking im [[Analytic Hierarchy Process]]).

== Siehe auch==
* [[Stochastische Ordnung]]

== Literatur ==

* Tim Ash: ''Landing Page Optimization: The Definitive Guide to Testing and Tuning for Conversions.'' 1. Auflage. Wiley Verlag, New York 2008, S. 214ff.
* Avinash Kaushik: ''Web Analytics: An Hour a Day.'' 1. Auflage. Wiley Verlag, New York 2007, S. 238ff.
* Markus Schöberl: ''Tests im Direktmarketing: Konzepte und Methoden für die Praxis – Auswertung und Analyse – Qualitätsmanagement und Erfolgsorientierung.'' 1. Auflage. Redline Wirtschaft Verlag, Frankfurt am Main 2004.
* D. Siroker, P. Koomen: ''A/B testing: The most powerful way to turn clicks into customers.'' John Wiley & Sons, 2013.
* Yoon Hyup Hwang: ''Hands-On Data Science for Marketing: Improve your marketing strategies with machine learning using Python and R.'' 2019, Kapitel 12.

== Weblinks ==
* [https://www.smashingmagazine.com/2010/06/the-ultimate-guide-to-a-b-testing/ The Ultimate Guide To A/B Testing.] In: ''smashingmagazine.com'', (engl.)
* [https://code.facebook.com/posts/520580318041111/airlock-facebook-s-mobile-a-b-testing-framework Airlock – Facebook’s mobile A/B testing framework.] In: ''code.facebook.com'', (engl.)

== Einzelnachweise ==
<references />

{{SORTIERUNG:A B Test}}
[[Kategorie:Werbeforschung]]

A/B-Test - Versionsgeschichte

imported>Biggerj1: /* Herausforderung */