Een A/B-test loopt tot hij het aantal bezoekers heeft bereikt dat je vooraf hebt uitgerekend, en altijd in hele weken. Hoe lang dat is, volgt uit je huidige conversieratio, het kleinste verschil dat je wilt kunnen aantonen en het verkeer op de pagina. In de praktijk laat ik een test nooit korter lopen dan twee volledige weken, en stop ik hem niet eerder omdat er al een winnaar in beeld lijkt.
Die looptijd bepaal je dus voordat de test start, niet onderweg. Hoe ik dat in de praktijk aanpak, lees je op de pagina over A/B testen op je website.
Hieronder leg ik uit hoe je de benodigde steekproef uitrekent, met een rekenvoorbeeld, en waarom zowel te kort als te lang testen je uitkomst onbetrouwbaar maakt.
Waar de benodigde steekproef van afhangt
Hoeveel bezoekers je per variant nodig hebt, hangt af van vier dingen:
- Je huidige conversieratio. Hoe lager die is, hoe meer bezoekers je nodig hebt, omdat je minder conversies per bezoeker verzamelt.
- Het kleinste verschil dat je wilt kunnen zien, vaak het minimaal detecteerbare effect genoemd. Een kleiner verschil vraagt veel meer bezoekers: wil je een half zo groot effect aantonen, dan heb je ongeveer vier keer zoveel bezoekers nodig.
- Het significantieniveau, meestal 5 procent. Dat is de kans die je accepteert om een winnaar aan te wijzen terwijl er in werkelijkheid geen verschil is. Dit wordt vaak “95 procent betrouwbaarheid” genoemd.
- Het onderscheidend vermogen, meestal 80 procent. Dat is de kans dat je een echt verschil van de gekozen grootte ook daadwerkelijk vindt.
Met die vier getallen rekent elke gangbare steekproefcalculator uit hoeveel bezoekers je per variant nodig hebt. Deel dat door het aantal bezoekers dat per week op de pagina komt, en je weet hoeveel weken de test minimaal moet lopen.
Een rekenvoorbeeld
Stel dat je webshop een productpagina heeft waar 3 procent van de bezoekers iets koopt, en dat die pagina 10.000 bezoekers per week trekt. Bij een 50/50-verdeling krijgt elke variant dus 5.000 bezoekers per week. Je rekent met een significantieniveau van 5 procent en een onderscheidend vermogen van 80 procent.
- Wil je een verbetering van 20 procent kunnen aantonen, van 3 naar 3,6 procent, dan heb je ongeveer 13.900 bezoekers per variant nodig. Dat is 2,8 weken, dus je test drie volledige weken.
- Wil je een verbetering van 10 procent kunnen aantonen, van 3 naar 3,3 procent, dan heb je ongeveer 53.200 bezoekers per variant nodig. Dat is bijna elf weken.
- Wil je een verbetering van 5 procent kunnen aantonen, dan loopt het op tot ongeveer 208.000 bezoekers per variant, ruim veertig weken.
De les uit dit voorbeeld is dat kleine verbeteringen op een pagina met gemiddeld verkeer praktisch niet aan te tonen zijn. Een andere kleur knop levert zelden een verschil van 20 procent op, een ander aanbod of een herschreven productpagina soms wel. Daarom test ik bij beperkt verkeer liever één flinke verandering dan vijf kleine.
Waarom je in hele weken test
Bezoekers gedragen zich op maandagochtend anders dan op zaterdagavond. Per dag verschilt hoeveel mensen via advertenties binnenkomen, hoeveel er op hun telefoon zitten en hoeveel er klaar zijn om te kopen in plaats van rond te kijken. Stop je een test halverwege een week, dan zijn sommige dagen dubbel vertegenwoordigd en andere helemaal niet, en meet je deels het verschil tussen dagen in plaats van tussen varianten.
Daarom laat ik een test altijd starten en stoppen op dezelfde weekdag, en rond ik de berekende looptijd naar boven af op hele weken. Heb je de steekproef na tien dagen bereikt, dan loopt de test dus veertien dagen.
Waarom je niet stopt zodra het significant lijkt
Tijdens een test schommelt het verschil tussen de varianten flink, vooral in de eerste dagen, waarin een variant puur door toeval fors kan voorlopen. Kijk je elke dag naar de uitkomst en stop je zodra die significant is, dan geef je het toeval vele kansen om je een winnaar voor te schotelen. De kans dat je dan een variant doorvoert die in werkelijkheid niet beter is, ligt veel hoger dan de 5 procent waar je van uitging.
Kijken mag, maar alleen om te controleren of de test technisch goed loopt. Beslissen doe je pas als de vooraf berekende steekproef en looptijd zijn bereikt. Er bestaan statistische methoden die tussentijds stoppen wel toestaan, zoals sequentieel testen, maar dan moet de test daar vanaf het begin op zijn ingericht. Controleer dus in je testtool welke methode die gebruikt voordat je op een tussenstand vertrouwt.
Waarom te lang testen ook niet goed is
Een test die maanden loopt, wordt minder betrouwbaar in plaats van meer. Bezoekers wissen hun cookies of komen terug op een ander apparaat, en kunnen dan in de andere variant terechtkomen. Daardoor lopen de groepen door elkaar en wordt een echt verschil kleiner gemeten dan het is. Ook neemt de kans toe dat een uitverkoop, nieuwe campagne of seizoenswissel de ene variant anders raakt dan de andere.
Komt je berekening uit op meer dan een week of acht, dan is het meestal verstandiger de test anders op te zetten dan hem zo lang te laten lopen.
Wat als je te weinig verkeer hebt
Dan heb je drie opties. Je kunt een grotere verandering testen, zodat het effect groot genoeg is om binnen een paar weken te zien. Je kunt testen op een pagina met meer verkeer, bijvoorbeeld een sjabloon voor alle productpagina’s in plaats van één product. Of je kunt meten op een stap die vaker voorkomt, zoals het toevoegen aan de winkelwagen in plaats van de aankoop, met het risico dat meer winkelwagens niet automatisch meer omzet betekenen.
Voor veel lokale dienstverleners met een paar honderd bezoekers per maand is geen van die drie genoeg. Dan is A/B-testen simpelweg niet het goede middel, en haal je meer uit een grondige doorlichting en gerichte verbeteringen.
Checklist voordat je een test stopt
- De vooraf berekende steekproef per variant is bereikt.
- De test heeft in hele weken gelopen, met minimaal twee volledige weken.
- De bezoekers zijn verdeeld zoals ingesteld. Wijkt een 50/50-test duidelijk af, bijvoorbeeld 52/48 bij tienduizenden bezoekers, dan is er waarschijnlijk iets technisch mis.
- Je beoordeelt de test op de metric die je vooraf hebt gekozen, niet op de metric die toevallig het mooiste resultaat laat zien.
- Er was geen storing, uitverkoop of wijziging aan de site die maar één variant raakte.
Liever dat ik het uitreken?
Wil je weten of jouw site genoeg verkeer heeft voor een A/B-test en hoe lang hij dan moet lopen, dan reken ik het voor je uit voordat je iets bouwt.
A/B testen op je website