Kurzfassung
Beim A/B-Testing werden zwei (oder mehr) Varianten einer Seite oder eines Elements verglichen, um die bessere (z. B. höherer CTR, mehr Konversionen) zu wählen. Wichtig: klare Hypothese, eine Änderung, ausreichende Stichprobe und statistische Signifikanz.
Für wen ist das
- Marketing und Product Owner
- Verantwortliche für CRO (Conversion Rate Optimization)
- Betreiber von Shops und Lead-Seiten
Keyword (SEO)
a b testing, ab test konversionen, website ab test, konversionsoptimierung test
Was ist ein A/B-Test?
- Variante A (Kontrolle) – aktuelle Version
- Variante B – geänderte Version (z. B. anderer CTA, Headline, Layout)
- Traffic-Aufteilung – z. B. 50/50 der Nutzer
- Metrik – z. B. Klicks auf CTA, Registrierungen, Käufe
Regel: Nur eine Sache ändern. Bei mehreren Änderungen weiß man nicht, was den Effekt ausgelöst hat.
Wann lohnt sich A/B-Testing?
- ✅ Sie haben Traffic (mindestens hunderte Konversionen pro Variante und Monat)
- ✅ Sie haben eine klare Hypothese (z. B. „grüner Button bringt mehr Klicks“)
- ✅ Sie können 1–4 Wochen auf das Ergebnis warten
- ❌ Symbolischer Traffic – Ergebnis ist statistisch nicht aussagekräftig
- ❌ Alles auf einmal ändern – das ist eine neue Seite, kein A/B
Prozess Schritt für Schritt
1. Hypothese
Formulieren: „Änderung X bewirkt Anstieg Y, weil Z.“
Beispiel: „CTA von ‚Absenden‘ auf ‚Angebot anfordern‘ erhöht Formularabschlüsse, weil klar ist, was der Nutzer bekommt.“
2. Ziel und Metrik
- Hauptmetrik – z. B. Formularkonversion
- Nebenmetriken – z. B. Verweildauer, Absprung (damit UX nicht leidet)
3. Variante gestalten
- Nur ein Element unterscheidet sich (z. B. Buttontext, Farbe, Position)
- Variante B muss auf allen Geräten korrekt funktionieren
4. Laufzeit und Stichprobengröße
- Stichprobenrechner nutzen (z. B. A/B-Test-Rechner)
- Saisonality beachten – Test nicht an langen Wochenenden beenden
- Mindestens meist 1–2 Wochen, oft 2–4
5. Auswertung
- Statistische Signifikanz (z. B. 95 % Konfidenz)
- Test nicht vorzeitig abbrechen, wenn „schon klar“ – das ist Peeking
Tools
- Google Optimize (eingestellt) – Nachfolger: VWO, Optimizely, AB Tasty
- GA4 + Google Tag Manager – eigene Experimente (Redirect oder Content-Änderung)
- CRO-Tools – oft mit Signifikanzrechner und Berichten
Fallstricke
- Peeking – mehrfaches Prüfen und vorzeitiges Beenden
- Zu kleine Stichprobe – „Sieg“ von B kann Zufall sein
- Multi-Varianten – viele Varianten (A/B/C/D) brauchen größere Stichprobe
- Segmente ignorieren – z. B. Mobile vs Desktop können unterschiedlich reagieren
FAQ
Was ist statistische Signifikanz?
Die Wahrscheinlichkeit, dass der beobachtete Unterschied nicht zufällig ist. 95 % = wir werten das Ergebnis bei 5 % Fehlerrisiko als real.
Kann ich mehr als 2 Varianten testen?
Ja (A/B/n), aber Sie brauchen entsprechend größere Stichprobe und längere Laufzeit. Der Einfachheit halber oft besser nacheinander A/B-Tests.
Was, wenn das Ergebnis „unentschieden“ ist?
Kein signifikanter Unterschied ist auch ein Ergebnis – bei Variante A (oder der günstigeren/einfacheren) bleiben. Änderung nicht „aus dem Bauch“ umsetzen.