Ein A/B-Test beantwortet eine konkrete Frage. Gleichzeitige Änderungen an mehreren Elementen können die Ursache eines Ergebnisses unklar machen.
Hypothese festlegen
Formuliere beispielsweise, dass eine verständlichere Anfragehandlung mehr fachlich passende Anfragen erzeugt. Definiere genau, welche Variante verändert wird und welche anderen Bedingungen unverändert bleiben.
Messung einrichten
Lege die Zielgröße, die Zuordnung zu den Varianten und den Umgang mit wiederholten Besuchen fest. Achte auf zulässige Datenerhebung. Prüfe zunächst, ob beide Varianten korrekt funktionieren.
Ergebnis vorsichtig bewerten
Vergleiche nicht nur eine Rate, sondern auch die Zahl der Beobachtungen und die Qualität der eingegangenen Anfragen. Ein früher Ausschlag ist bei kleinen Stichproben kein Nachweis einer dauerhaften Verbesserung.
Checkliste
- Hypothese und Zielgröße
- Technische Vergleichbarkeit
- Stichprobengröße berücksichtigen
Ein Test kann ohne ausreichenden Traffic kein eindeutiges Ergebnis liefern.
Fachlicher Orientierungsbeitrag von Hunter & Closer, KI-unterstützt erstellt.
