E-Commerce A/B-Test: Landing Page Performance & Statistische Signifikanz
Analyse der Bounce-Rates nach Einführung einer neuen Landing Page mittels Microsoft Fabric (T-SQL)
Technische Umsetzung:
Rohdaten wurden in ein Fabric Lakehouse geladen und über Dataflow Gen2 nach ersten Transformationen in ein SQL Warehouse überführt. Die Analyse fand in einem T-SQL Notebook statt.
1. Datenaufbereitung und Erstellung eines Views
Um die Validität des Tests zu erhöhen, fokussiert sich die Analyse auf Non-Brand Google Search Traffic. Dieser Traffic-Typ ist besonders wertvoll, da er aus Neukunden besteht, die über generische Suchbegriffe kommen und somit die größte Herausforderung für die Conversion-Optimierung darstellen. Für einen aussagekräftigen Vergleich wurde der Datensatz zudem auf den Zeitraum begrenzt, in dem die ursprüngliche Homepage (/home) und die neue Testseite (/lander-1) parallel aktiv waren (Concurrent Testing), um externe Einflüsse wie Saisonalität auszuschließen.
2. Session Analytics
Die Effektivität einer Landing Page kann durch die Bounce-Rate ermittelt werden. Ein „Bounce“ liegt vor, wenn ein Nutzer seine Session nach nur einem Seitenaufruf wieder verlässt. Daher berechnen wir pro Session die erste aufgerufene Seite und berechnen die Gesamtinteraktion.
Ergebnis: Die neue Seite /lander-1 erzielt eine deutlich bessere Bounce-Rate mit 53,2% gegenüber 58,3% der Originalseite.
3. Statistische Validierung
Um sicherzugehen, dass die Verbesserung signifikant ist, also nicht auf Zufall basiert, wurde ein 95%-Konfidenzintervall mit einem Z-Wert von 1,96 berechnet.
Ergebnis-Interpretation:
Das berechnete 95%-Konfidenzintervall für die Differenz der Bounce-Rates liegt zwischen -7,8% und -2,1%.
Da das Konfidenzintervall die Null nicht einschließt, gilt das Ergebnis als statistisch signifikant. Dass das Intervall vollständig im negativen Bereich liegt, beweist mathematisch, dass die neue Landing Page (/lander-1) die Absprungrate zuverlässig senkt und das Ergebnis nicht auf zufälligen Schwankungen in der Stichprobe basiert.
Wir können daher mit 95-prozentiger Sicherheit sagen, dass die neue Landing Page die Bounce Rate im Vergleich zum Original um etwa 5 Prozentpunkte reduziert. Dies entspricht einer relativen Verbesserung der Performance um 8,6%.
Statistische Begriffsklärung
Um die Validität des A/B-Tests zu bestimmen, wurden folgende Metriken berechnet:
Bounce Rate (p): Die Wahrscheinlichkeit eines „Bounces“ (Erfolgswahrscheinlichkeit für das Ereignis).
Engagement Rate (q): Die Gegenwahrscheinlichkeit (1 – p). Also der Anteil der Nutzer, die auf der Seite geblieben sind.
Sample Size (n): Die Anzahl der gesamten Sessions pro Testgruppe.
Standard Error (SE): Ein Maß für die Streuung der Daten. Er gibt an, wie stark der geschätzte Wert vom tatsächlichen Mittelwert der Grundgesamtheit abweicht.
Z-Value (1,96): Der kritische Wert für ein 95% Konfidenzintervall. Er legt fest, wie viele Standardabweichungen wir vom Mittelwert weggehen, um uns zu 95% sicher zu sein.
Margin of Error: Der „Toleranzbereich“ unserer Schätzung. Er ergibt sich aus Z x SE.
Confidence Interval (aCI): Der Bereich, in dem der wahre Wert mit einer Wahrscheinlichkeit von 95% liegt.
| Englisch | Deutsch | Bedeutung |
| Standard Deviation (SD) | Standardabweichung | Streuung der einzelnen Werte um den Mittelwert. |
| Standard Error (SE) | Standardfehler | Wie präzise schätzt unser Stichproben-Mittelwert den wahren Wert? ( SE = SD / Wurzel(n) ) |
| Margin of Error (ME) | Fehlerspanne | Sicherheitsbereich / Radius des Konfidenzintervalls ( ME = Z * SE ). |
| Variance | Varianz | Das Quadrat der Standardabweichung ( s² = p * q = p * (1 – p) ). |