Das kundenerprobte A/B-Test-Framework: 7 Schritte, die bei jedem Kunden funktionieren

Zusammenfassung

Agenturen führen A/B-Tests unter härteren Rahmenbedingungen durch als Teams mit einem einzigen Produkt: mehrere Kunden, knappe Fristen und verstreute Kennzahlen. Dieser Artikel liefert Ihnen ein wiederholbares Framework, das bei jedem Konto funktioniert – beginnend mit der Definition eines einzigen, wahren Conversion-Ziels. Sie lernen, Reibungspunkte zu finden statt nur Meinungen von Stakeholdern nachzujagen, prädiktiven Hypothesen zu formulieren und zwischen univariaten, multivariaten und KI-gestützten Experimenten zu wählen. Er behandelt pragmatische Planung der Stichprobengröße, wie Sie Kunden davon abhalten, einen Test vorzeitig abzubrechen, und wie Sie mehrdeutige Ergebnisse wie ein Berater lesen. Der letzte Schritt besteht darin, jeden Erfolg und jeden Misserfolg in einem Playbook zu bündeln, das den Testzyklus des nächsten Kunden beschleunigt. Nutzen Sie diese Struktur, um verschwendete Wochen zu vermeiden und Testing zu einem Wettbewerbsvorteil für Ihre Agentur zu machen. Wenn Sie Testing als System behandeln und nicht als eine Reihe von Einzelanfragen, hören Sie auf, bei jedem Konto das Rad neu zu erfinden.

Montag, 9:47 Uhr. Ein Kunde bittet per E-Mail um einen „schnellen A/B-Test“ auf seiner Preisseite. Sie haben drei andere Konten in Arbeit, jedes mit einem anderen Analytics-Setup, einer anderen Genehmigungskette und einer anderen Definition von „Erfolg“. Der schnelle Test wird drei Wochen dauern, um statistische Signifikanz zu erreichen. Das wissen Sie bereits. Also puffern Sie den Zeitplan, setzen Erwartungen und führen den Test durch. Dann verbringen Sie die halbe Woche damit, ihn zu verteidigen.

Das ist kein Testing-Problem, sondern ein Systemproblem. Wenn Sie für jeden Kunden neu erfinden müssen, wie Sie testen, sind Sie kein Optimierungspartner, sondern ein Testausführender. Was folgt, ist ein Sieben-Schritte-Framework, das bei jedem Kunden, jedem Tool und jedem Traffic-Level funktioniert. Nutzen Sie es, um schnellere und intelligentere Testzyklen zu erreichen, die sich von Konto zu Konto auszahlen.

1. Legen Sie eine Erfolgskennzahl fest, bevor Sie eine Variable anfassen

A/B-Testing, wie im Optimizely-Glossar definiert, teilt Ihr Publikum nach dem Zufallsprinzip und zeigt jeder Gruppe eine andere Version einer Seite. Diese zufällige Aufteilung erzeugt Daten. Aber die Daten bedeuten nur etwas, wenn Sie wissen, was Sie messen. Die meisten Kunden sagen, sie wollen „mehr Conversions“ – aber Conversions können Anmeldungen, Käufe, Demo-Anfragen oder sogar das Scrollen bis zur Fußzeile sein. Wenn Sie nicht eine Kennzahl festlegen, kann jedes Ergebnis, das Sie zurückbringen, neu interpretiert werden.

Beginnen Sie jedes Engagement mit einer 15-minütigen Zielanalyse. Fragen Sie den Kunden: „Welche einzelne Aktion würde dieses Quartal zum Erfolg machen, wenn sie sich verdoppeln würde?“ Dann machen Sie diese Antwort zu Ihrer primären Kennzahl. Verwenden Sie sie als Erfolgskriterium des Tests. Alles andere – Absprungrate, Verweildauer, sekundäre Klicks – wird zu einer Leitplanken-Kennzahl, die Sie beobachten, aber nicht optimieren.

Seien Sie kompromisslos konkret. Wenn der Kunde „Leads“ sagt, definieren Sie, was ein Lead ist. Ein Lead kann eine Formularübermittlung sein, aber auch ein Anruf, ein Live-Chat oder ein Download. Jede Definition ändert, welches Seitenelement Sie testen sollten. Ein Formular-Übermittlungsziel lenkt den Fokus auf Formularlänge und Reibung. Ein Anruf-Ziel macht Ihre Optimierung ganz auf Click-to-Call-Platzierung und Vertrauenssignale ausgerichtet. Wenn Sie das nicht von Anfang an klären, optimieren Sie die falsche Seite.

Arbeitsbeispiel: Ein B2B-Kunde möchte „mehr Leads“. Sie fragen, was ein Lead ist. Er sagt „qualifizierte Interessenten“. Das ist nicht messbar. Sie grenzen es ein auf „Formularübermittlungen mit einer geschäftlichen E-Mail-Adresse“. Jetzt haben Sie eine primäre Kennzahl. Wenn Sie später eine neue Hero-Headline testen, beurteilen Sie sie ausschließlich anhand dieser Kennzahl. Sie verhindern auch Versuche, den Sieg auf der Grundlage einer besseren Absprungrate zu erklären. Diese Klarheit erspart Ihnen stundenlange Diskussionen.

Sobald Sie eine primäre Kennzahl haben, schreiben Sie sie in das Test-Briefing. Das Briefing sollte in einem Satz sagen: „Dieser Test wird anhand von [metric] bewertet.“ Teilen Sie es mit allen Beteiligten. Wenn ein VP später sagt: „Na ja, das Engagement hat sich ja verbessert“, zeigen Sie auf das Briefing. Sie haben die Torpfosten nicht verschoben. Sie haben sie gemeinsam festgelegt.

Hier trennen Sie auch Signal von Rauschen. Zu wissen, welche Tests am wichtigsten sind, ist die halbe Miete. Wenn Sie Ihr Budget für die Tests ausgeben, die am wahrscheinlichsten den Umsatz steigern, macht das eine Agentur effizient.

2. Suchen Sie Reibungspunkte, nicht Präferenzen

Kunden reichen Ihnen eine Liste mit „Tests, die wir durchführen wollen“ ein, die in Wirklichkeit Meinungen sind. „Der Button sollte grün sein.“ „Die Überschrift sollte unseren Preis erwähnen.“ Diese führen Sie nicht durch. Sie führen Tests durch, die Reibung reduzieren oder Vertrauen erhöhen. Die CRO-Playbooks weisen alle auf dieselben Hebel hin: Klarheit des Call-to-Action, Formularlänge, Layout-Klarheit, Social Proof und Vertrauenssignale.

Finden Sie diese Hebel, indem Sie sich ansehen, wo die Nutzer Ihres Kunden aufgeben. Richten Sie Sitzungsaufzeichnungen oder grundlegendes Event-Tracking ein, falls noch nicht vorhanden. Sehen Sie sich mindestens fünf echte Nutzersitzungen pro Kunde an. Verlassen Sie sich nicht auf die Meinung des Kunden darüber, „was den Nutzern gefallen wird“. Daten schlagen Meinungen.

Häufige Reibungsquellen, die Sie prüfen sollten:

• Formulare, die zu viele oder zu wenige Informationen abfragen
• CTAs, die die nächste Aktion nicht klar benennen (z. B. „Mehr erfahren“ statt „Kostenlose Testversion starten“)
• Fehlende Vertrauenssignale in der Nähe des Entscheidungspunkts (Testimonials, Garantien, Geld-zurück-Angebote)
• Seiten, die auf Mobilgeräten langsam laden
• Journeys mit einem überraschenden Extraschritt (z. B. „Anmeldung“ und dann „E-Mail bestätigen“ ohne Vorwarnung)

Arbeitsbeispiel: Der Checkout eines E-Commerce-Kunden hat ein Formular mit 6 Feldern plus einem optionalen Kontrollkästchen „Konto erstellen“. Sie richten eine Sitzungsaufzeichnung ein und sehen sich fünf Nutzer an. Zwei versuchen, ein vorausgefülltes Gutscheinfeld zu löschen, weil sie glauben, dass es einen Rabatt gewährt. Einer bricht beim Telefonnummernfeld ab. Die Reibung liegt nicht in der Länge des Formulars, sondern im verwirrenden Gutscheinfeld. Ihr Test macht den Button nicht größer. Er verschiebt das Gutscheinfeld in den letzten Prüfschritt. Das ist ein Test, der aus Beobachtung entstanden ist, nicht aus Meinung.

Um dies über mehrere Kunden hinweg zu tun, führen Sie ein gemeinsames Reibungsprotokoll. Immer wenn ein Nutzer auf der Website eines Kunden hängen bleibt, notieren Sie das Muster. Sie werden dieselbe Reibung drei Wochen später auf der Website eines anderen Kunden sehen. Das ist die private Forschungsbibliothek Ihrer Agentur. Es ist auch ein starkes Verkaufsargument für einen neuen Kunden: „Wir haben genau dieses Problem in Ihrem Marktsegment gesehen.“

Beschränken Sie sich nicht auf das Verhalten auf der Website. Betrachten Sie Exit-Pfade, Heatmaps und Formularfeld-Analysen. Das Ziel ist es, einen klaren Punkt zu finden, an dem Nutzer abspringen. Dieser Punkt ist Ihre Testvariable. Wenn Sie keinen klaren Abfall finden, führen Sie einen diagnostischen Test durch: Probieren Sie einen deutlich anderen CTA, ein viel kürzeres Formular oder ein radikal anderes Wertversprechen aus. Das Ergebnis, selbst ein Null-Ergebnis, zeigt Ihnen, wo der wahre Widerstand der Zielgruppe liegt.

Halten Sie das Reibungsprotokoll aktuell. Wenn Sie ein wiederkehrendes Muster erkennen, notieren Sie es im Protokoll mit einem Screenshot und einer einzeiligen Erklärung. Nach einigen Monaten haben Sie einen Katalog von Nutzereinwänden, der für jeden Kunden gilt, den Sie betreuen. Dieser Katalog ist ein Verkaufsargument: „Wir haben genau diesen Einwand bereits in Ihrer Branche getestet. Das haben wir gelernt.“

3. Formulieren Sie eine Hypothese, die ein Warum vorhersagt, nicht ein Was

Ein guter Test beantwortet eine Frage: „Wenn wir X tun, dann wird Y passieren, weil Z.“ Das „weil Z“ ist die Hypothese und macht das Ergebnis übertragbar. Ohne ein „Warum“ sagt Ihnen ein erfolgreicher Test nichts über den nächsten Kunden.

Formulieren Sie jeden Test mit dieser „Wenn... dann... weil...“-Struktur. Sie zwingt Sie dazu, über den Mechanismus nachzudenken. „Das Formular von 5 auf 3 Felder verkürzen“ wird zu „Wenn wir das Formular verkürzen, dann steigt die Abschlussrate, weil die Nutzer weniger Aufwand wahrnehmen.“ Jetzt wissen Sie, warum. Sie können diese Regel auf jeden Kunden mit einem langen Formular übertragen.

Nun zum Vorbehalt. Die gängige Best Practice besagt, immer nur eine Variable zu testen. Diese Regel existiert aus gutem Grund: Isolierte Variablen liefern saubere kausale Erklärungen. Aber Agenturen haben selten den Traffic oder die Monate, um zwanzig separate univariate Tests durchzuführen. Für Konten mit wenig Traffic brauchen Sie einen Kompromiss. Sie haben drei Optionen.

Ansatz	Am besten geeignet, wenn	Kompromiss
Univariater Test	Seite mit hohem Traffic, einzelne Hypothese, Zeit vorhanden	Sauberste kausale Erklärung, langsam
Multivariater Test	Mittlerer Traffic, mehrere unabhängige Variablen	Schneller, aber konfundierte Wechselwirkungen
KI-gestütztes Experiment	Geringer Traffic, knappe Frist, Maschine soll sich anpassen	Neuere Werkzeuge, weniger Kontrolle über Varianten

Diese dritte Option sollte man ernst nehmen. Der Erklärartikel von Optimizely zu KI-Experimenten beschreibt Machine-Learning-Systeme, die den Traffic dynamisch zuweisen und Varianten für Sie generieren. Statt eines festen Splits und Wartens lernt das System, welche Variante gewinnt, und lenkt den Traffic in Echtzeit dorthin. Das kann einen zweiwöchigen Test auf ein paar Tage verkürzen – auf Kosten einer gewissen methodischen Reinheit. Für eine Agentur unter Zeitdruck ist das oft der richtige Preis.

Sie sind sich nicht sicher, welcher Weg für Ihren Kunden geeignet ist? Die Abwägungen zwischen klassischem und KI-gesteuertem Testing sollten Sie verstehen, bevor Sie sich festlegen.

So entscheiden Sie: Wenn der Kunde viel Traffic und einen offenen Zeitplan hat, verwenden Sie einen univariaten Test. Wenn er mittleren Traffic und mehrere Kandidatenänderungen hat, führen Sie einen multivariaten Test mit den vielversprechendsten Kombinationen durch. Wenn er wenig Traffic und eine harte Frist hat, wählen Sie ein KI-gestütztes Experiment, das sich während des Tests anpassen kann. Lassen Sie sich nicht von einer Vorliebe für „echte Wissenschaft“ dazu verleiten, die geschäftlichen Zwänge des Kunden zu ignorieren. Der richtige Test ist der, der eine Entscheidung liefert, die Sie umsetzen können, bevor das Budget aufgebraucht ist. Ein perfekt ausgestatteter Test, der erst nach Ende der Kampagne des Kunden abgeschlossen ist, ist wertlos.

Arbeitsbeispiel: Ein Kunde aus dem lokalen Dienstleistungssektor erhält mäßigen täglichen Traffic. Einen univariaten Test allein durchzuführen, würde Monate dauern, um einen bedeutsamen Unterschied zu erkennen. Sie formulieren eine Hypothese und nutzen dann ein KI-Experiment, das den Traffic dynamisch zuweist. Nach einigen Tagen zeigt das System, dass eine Variante vorn liegt, und lenkt mehr Traffic dorthin. Sie erhalten eine Antwort innerhalb des Kampagnenzeitraums des Kunden. Sie akzeptieren, dass das Ergebnis weniger statistisch makellos ist als ein sechswöchiger klassischer Test. Das ist ein rationaler Handel, kein Kompromiss.

Beachten Sie auch, dass die Regel „immer nur eine Variable“ gelockert werden kann, wenn Sie einen radikal neuen Seitenabschnitt testen und nicht nur einen einzelnen Button. Ein Test zur Neugestaltung einer ganzen Seite kann mehrere Elemente ändern, aber die Hypothese ist trotzdem kohärent: „Ein Layout, das auf nutzenorientierte Texte ausgerichtet ist, wird das aktuelle Funktionslisten-Layout übertreffen, weil Nutzer auf der Grundlage von Ergebnissen entscheiden.“ Solange die Hypothese den Mechanismus benennt, können Sie ein Bündel von Änderungen testen. Seien Sie nur ehrlich zum Kunden, dass Sie nicht wissen, welches Element den Anstieg verursacht hat.

4. Dimensionieren Sie den Test nach dem Kalender des Kunden, nicht nach Ihrem Statistiklehrbuch

Statistische Signifikanz ist keine magische Zahl, die Sie am Tag 21 freischalten. Sie hängt von Ihrer Basis-Conversion-Rate, der Mindestverbesserung, die Sie sehen müssen, und der Menge an Traffic ab, die Sie zum Test leiten können. Jeder Testing-Leitfaden in diesem Bereich wiederholt dieselbe Warnung: Führen Sie den Test durch, bis Sie genügend Stichprobengröße und Laufzeit haben, sonst ist Ihre Schlussfolgerung Rauschen.

Bevor Sie den Test planen, rechnen Sie in einfacher Sprache. Schätzen Sie die aktuelle Conversion-Rate des Kunden und die kleinste Verbesserung, die Ihnen wichtig ist. Dann schätzen Sie, wie viele Besucher Sie für ein vernünftiges Konfidenzniveau benötigen. Wenn diese Zahl vor dem Quartalsreview des Kunden nicht erreicht wird, haben Sie drei Möglichkeiten: Den Traffic-Split vergrößern, um mehr Personen zum Test zu schicken, eine größere minimal erkennbare Wirkung akzeptieren, die Ihr Traffic unterstützen kann, oder den Test in ein Lern-Experiment ohne versprochenen „Gewinner“ umwandeln.

Sie brauchen keinen Doktortitel dafür. Nutzen Sie einen Stichprobengrößen-Rechner. Geben Sie die Basisrate, den gewünschten Effekt und Ihr gewünschtes Konfidenzniveau ein. Das Tool zeigt Ihnen, wie viele Besucher pro Variante Sie benötigen. Teilen Sie dann durch den erwarteten Test-Traffic des Kunden pro Tag, um die erforderliche Laufzeit zu erhalten. Wenn diese Laufzeit nicht in den Zeitplan des Kunden passt, passen Sie einen der Eingabewerte an, bevor Sie den Test starten. Dieses Gespräch ist viel billiger als ein verschwendeter Dreiwochen-Zyklus.

Arbeitsbeispiel: Die Testanmelde-Seite eines SaaS-Kunden erhält einen mäßigen, aber stetigen Besucherstrom. Sie möchten eine bedeutsame Verbesserung erkennen, und Ihre Stichprobengrößen-Schätzung sagt, dass der Test weit mehr Besucher benötigt, als der Traffic des Kunden in der verfügbaren Zeit liefern kann. Der Kunde braucht in sechs Wochen eine Antwort für seine Vorstandssitzung. Also vergrößern Sie den Split von 50/50 auf 90/10 – aber das reicht immer noch nicht. Stattdessen senken Sie die minimal erkennbare Wirkung, um nur große Gewinne zu erfassen. Jetzt ist der Test im Zeitrahmen machbar, und Sie haben dem Kunden genau gesagt, was der Test erkennen kann und was nicht. Das ist der professionelle Schachzug.

Sie brauchen auch eine Abbruchregel. Legen Sie im Voraus fest, wie lange der Test läuft und welche Signifikanzschwelle Sie verwenden. Lassen Sie niemals ein Kalenderdatum der einzige Grund zum Stoppen sein. Wissen Sie, wann Sie ein Experiment vorzeitig beenden oder es verlängern sollten – Ihr Urteilsvermögen, nicht ein willkürlicher Freitag, sollte diese Entscheidung treffen.

5. Halten Sie den Kunden davon ab, den Test vorzeitig abzubrechen

Hier ist eine Szene, die Sie erlebt haben: Es ist Dienstag, und der Kunde schreibt: „Der Test läuft seit heute Morgen. Schicken wir jetzt den Gewinner raus.“ Sie haben eine Variante, die vorn liegt, aber Sie haben nur einen Teil der erforderlichen Stichprobengröße erreicht. Ihr Kunde sieht einen Gewinn. Sie sehen Rauschen. Das ist der häufigste Grund, warum Tests von Agenturen scheitern – nicht schlechte Mathematik, sondern schlechtes Stakeholder-Management.

Legen Sie die Grundregeln fest, bevor der Test beginnt. Senden Sie ein einseitiges Test-Briefing, das Folgendes festhält: die primäre Kennzahl, die geplante Stichprobengröße, das früheste Datum, an dem Sie sich die Ergebnisse ansehen, und was Sie während des Tests ändern dürfen. Lassen Sie sich das vom Kunden absegnen. Wenn er spickt, wird daraus eine Erwartungsverletzung, auf die Sie zeigen können, nicht eine persönliche Ablehnung. Dabei geht es nicht darum, konfrontativ zu sein; es geht darum, die Integrität des Experiments zu schützen.

Schützen Sie außerdem die Testumgebung. Sagen Sie dem Kunden, dass während des Tests keine anderen Website-Änderungen ausgeliefert werden sollten. Ein Banner, das eine Störung auf der Testseite ankündigt, eine kurzfristige Design-Änderung eines anderen Anbieters oder sogar ein Social-Media-Hype können Ihre Daten verunreinigen. Sobald sich etwas außerhalb Ihres Tests ändert, ist das Ergebnis fragwürdig.

Arbeitsbeispiel: Ein Entwickler eines Kunden spielt mitten im Test ein neues Favicon aus. Es sollte keine Rolle spielen, aber es sollte auch nicht passieren. Sie protokollieren es, notieren den Zeitstempel und prüfen, ob sich die Ergebnisse nach diesem Zeitpunkt verschieben. Wenn ja, starten Sie den Test neu. Kunden verstehen oft nicht, wie fragil das ist. Ihre Aufgabe ist es, dies im Test-Briefing explizit zu machen, damit sie es ernst nehmen.

Ein weiterer häufiger Kunden-Move ist: „Wir müssen die Kampagne am Freitag starten, können Sie den Test früher beenden?“ Widerstehen Sie, es sei denn, die Kampagne beeinträchtigt den Test selbst. Wenn Sie vorzeitig beenden, riskieren Sie eine falsche Entscheidung. Prüfen Sie stattdessen, ob die Kampagne etwas verschoben werden kann oder der Test auf eine Seite verlegt werden kann, die von der Kampagne nicht betroffen ist. Ihr Test-Briefing ist Ihr Verhandlungsinstrument. Nutzen Sie es, um höflich, aber bestimmt abzulehnen.

Noch eine Angewohnheit: Schauen Sie sich die Ergebnisse während des Tests niemals an, es sei denn, Sie suchen nach einem technischen Fehler. Das menschliche Gehirn ist furchtbar in Wahrscheinlichkeiten. Eine Reihe guter Tage fühlt sich wie ein Beweis an, ist aber oft nur Rauschen. Wenn Sie versucht sind zu spicken, öffnen Sie stattdessen den Stichprobengrößen-Rechner. Erinnern Sie sich daran, wie viele Daten noch fehlen.

6. Lesen Sie das Ergebnis wie eine Geschichte, nicht wie ein Urteil

Der Test endet. Die Variante gewinnt wieder. Aber „welcher Button gewonnen hat“ ist das am wenigsten nützliche, was Sie gelernt haben. Die nützlichen Fragen sind: Warum hat es gewonnen? Gilt diese Erklärung auch für andere Seiten? Was haben wir über diese Zielgruppe entdeckt, das wir vorher nicht wussten?

An diesem Punkt hören die meisten Agenturen auf. Sie liefern die Gewinnervariante aus, schicken dem Kunden ein PDF und machen weiter. Das ist eine verpasste Chance. Ein Null-Ergebnis – bei dem die Variante die Kontrolle nicht geschlagen hat – ist immer noch ein Ergebnis. Es sagt Ihnen, dass die Zielgruppe dieser Variablen keine Bedeutung beimisst oder dass das Original bereits gut genug war. Dokumentieren Sie diese Erkenntnis und wenden Sie sie auf den nächsten Test an. Best-Practice-Leitfäden betonen durchgängig, wie wichtig es ist, nach jedem Experiment Erkenntnisse zu dokumentieren; das macht aus Testing eine Reihe von Einzelaktionen einen sich vermehrenden Vermögenswert.

Arbeitsbeispiel: Sie testen ein Testimonial mit Foto gegen ein schlichtes Zitat. Das schlichte Zitat gewinnt. Sie graben nach dem Warum. Das Bild wirkt gestellt; die Zielgruppe des Kunden ist skeptisch. Die Lektion ist nicht „Testimonials funktionieren nicht.“ Sondern „Diese Zielgruppe möchte authentische, nicht zugeschriebene Beweise, keine gestellten Aufnahmen.“ Im nächsten Monat fragt ein anderer Kunde nach Social Proof. Sie wissen bereits, was Sie ihm nicht zeigen sollten. Das ist der ROI, wenn Sie Ergebnisse wie eine Geschichte lesen.

Ein Ergebnis zu interpretieren bedeutet nicht nur, einen p-Wert zu prüfen. Es bedeutet, die Richtung, die Größe und die Unterschiede in den Segmenten zu betrachten. Wenn Sie nicht sicher sind, ob Sie dem vertrauen können, was Sie sehen, überdenken Sie die Grundlagen. Ein Leitfaden, wie Sie A/B-Testergebnisse korrekt interpretieren, ohne auf Rauschen hereinzufallen, hält Sie ehrlich.

Berücksichtigen Sie auch den „Na und?“-Test. Übersetzen Sie die Kennzahl in die Sprache des Kunden. Ein großer relativer Anstieg bei einer winzigen Basis kann fast keinen Umsatz bedeuten, während ein kleiner Anstieg auf einer Seite mit hohem Traffic enorme Gewinne bedeuten kann. Lassen Sie sich von der relativen Änderung nicht für den absoluten Wert blenden. Den Kunden interessiert die Zahl am Ende, nicht das Konfidenzintervall.

Wenn Sie ein Null-Ergebnis präsentieren, entschuldigen Sie sich nicht. Rahmen Sie es als Datenpunkt. „Wir haben gelernt, dass die Länge der Überschrift die Conversion bei dieser Zielgruppe nicht verändert. Das erspart es uns, diesen Test erneut durchzuführen.“ Ein Null-Ergebnis ist eine saubere Antwort auf eine Frage. Es ist kein Misserfolg.

7. Machen Sie aus jedem Ergebnis eine wiederholbare Regel

Nun der letzte Schritt – und der, der eine Agentur, die Tests durchführt, von einer Agentur unterscheidet, die auf Tests setzt. Schreiben Sie nach jedem Test einen einseitigen Playbook-Eintrag. Formatieren Sie ihn einheitlich: Kundentyp, Hypothese, Ergebnis, Empfehlung. Speichern Sie ihn an einem Ort, an dem alle suchen können. Bevor Sie dann einen neuen Test starten, durchsuchen Sie das Playbook nach einer ähnlichen Situation. Oft stellen Sie fest, dass Sie bereits gelernt haben, was Sie gleich wieder lernen werden.

So wird Testing zu einem Wettbewerbsvorteil für eine Agentur. Die Erkenntnis von Kunde A, dass das „Gutscheinfeld verwirrend ist“, erspart es Ihnen, denselben fehlerhaften Test für den Checkout von Kunde B zu entwerfen. Die Erkenntnis von Kunde C, dass „Testimonials nichts bewegen“, gibt Ihnen die Freiheit, etwas anderes zu testen. Das Playbook ist der Vermögenswert, den Sie wirklich verkaufen, nicht die Berichte.

Checkliste für einen Playbook-Eintrag:

• Branche des Kunden und Website-Typ
• Die Testseite und die getestete Variable
• Die Hypothese in der Form „Wenn... dann... weil...“
• Ergebnis der primären Kennzahl: Gewinn, Verlust oder Null
• Die „Warum“-Erklärung, auf die Sie sich geeinigt haben
• Eine Maßnahme, die Sie bei einem neuen Kunden wiederholen würden
• Eine Maßnahme, die Sie nie wieder versuchen würden

Arbeitsbeispiel: Ein Fitness-App-Kunde testet ein Formular für die kostenlose Testversion mit einem einzigen E-Mail-Feld gegenüber einem Formular mit Vorname und E-Mail. Die Version mit einem Feld erzielt einen kleinen, aber konsistenten Gewinn. Sie schreiben den Playbook-Eintrag: „Bei impulsgesteuerten Zielgruppen (Fitness, Essen) sollten Sie zu Beginn die erforderlichen Felder minimieren; persönliche Details später sammeln.“ Sechs Wochen später fragt ein Kochbox-Kunde nach seinem langen Anmeldeformular. Sie ziehen den Playbook-Eintrag heraus, empfehlen dieselbe Reduzierung und führen den Test mit Zuversicht durch, weil Sie das wahrscheinliche Ergebnis bereits kennen. Das ist der Zinseszinseffekt.

Halten Sie schließlich ein monatliches „Erkenntnis-Review“ mit Ihrem Team ab. Gehen Sie durch, was Sie über alle Kunden hinweg gelernt haben. Fassen Sie Einträge zusammen, die auf dieselbe zugrunde liegende Regel hinweisen. Machen Sie daraus Richtlinien für zukünftige Tests. Wenn zum Beispiel zwei verschiedene Kunden mit einem Ein-Feld-Formular höhere Conversions erzielt haben, ist die Regel „fordern Sie minimale Informationen, bis die Bindung entsteht“ wahrscheinlich in ihren Segmenten gültig. Diese Regel fließt nun in die Empfehlungen für die Landing Pages jedes neuen Kunden ein, noch bevor Sie einen Test durchführen.

Das Framework funktioniert. Aber es funktioniert nur, wenn Sie das System tatsächlich aufbauen. Beginnen Sie mit einem Kunden. Wenden Sie alle sieben Schritte an. Dann wenden Sie sie auf den nächsten Kunden an, und lassen Sie das Playbook immer mehr der Arbeit übernehmen. Sie werden aufhören, sich zu fragen „Was sollen wir testen?“ und beginnen, sich zu fragen „Welche bekannte Regel gilt hier?“ Das ist der Unterschied zwischen einer Agentur, die Tests durchführt, und einer Agentur, die bessere Ergebnisse liefert.