Ett A/B-test, även kallat splittest, jämför den nuvarande versionen, kontrollen, med en ändrad version, varianten. Verktyget skickar varje besökare eller mottagare slumpvis till en av versionerna. När tillräckligt många har sett båda jämför du det enda mått som ni kommit överens om i förväg, till exempel registreringar, köp eller klick i ett mejl.
Eftersom båda grupperna ser sin version under samma period påverkas de lika mycket av yttre faktorer som säsong, nyheter eller en konkurrents rea. Det är det som skiljer ett riktigt test från en jämförelse före och efter. Splittester finns i e-postverktyg, i annonsplattformar (experiment i Google Ads, A/B-tester i Meta), i verktyg för att testa webbplatser och i många byggverktyg för landningssidor.
Funktion
Hur ett splittest kommer fram till ett utslag
Du börjar med en hypotes: ett kortare formulär ger fler skickade förfrågningar, eftersom besökarna hoppar av vid fältet för telefonnummer. Du väljer ett huvudmått, bestämmer hur många besökare varje version behöver innan du tittar på resultatet och låter verktyget dela trafiken, oftast hälften var.
När testet är slut gäller frågan om skillnaden mellan versionerna är större än vad slumpen skulle ge. Testverktygen redovisar det som statistisk signifikans eller som sannolikheten att varianten slår kontrollen. Ju mindre skillnad du väntar dig och ju lägre utgångsnivån är, desto mer trafik behövs. Därför kan en sajt med lite trafik sällan testa en liten formulering inom rimlig tid.
Det är storleken på ändringen som flyttar resultatet. Att skriva om erbjudandet, rubriken eller formulärets längd brukar påverka beteendet mer än att byta färg på en knapp, så de första testerna bör gälla de delar av sidan som besökarna faktiskt läser.
Exempel
Ett räkneexempel på en registreringssida
Anta att ett mjukvaruföretag testar en ny rubrik på sidan där man startar en provperiod. Under tre veckor ser 4 000 besökare kontrollen och 4 000 ser varianten. Kontrollen ger 120 provperioder, en konverteringsgrad på 3,0 procent. Varianten ger 152 provperioder, alltså 3,8 procent.
Den relativa förbättringen är skillnaden delad med kontrollens nivå: 0,8 delat med 3,0, ungefär 27 procent. Säg att testverktyget visar att en så stor skillnad skulle uppstå av en slump i mindre än 5 procent av fallen. Teamet utser varianten till vinnare och inför den.
Effekten på kostnaden är direkt. Om betald trafik på 8 000 besök i månaden kostar 16 000 kr skulle kontrollen ge 240 provperioder för cirka 67 kr styck, medan varianten skulle ge 304 provperioder för cirka 53 kr styck. Hade samma test stoppats efter 500 besökare per sida kunde en skillnad på en handfull provperioder lika gärna ha pekat åt andra hållet.
Användning
När ett splittest är rätt verktyg
- Använd det när en sida eller ett mejl får så mycket trafik att du når ett tydligt svar inom några veckor, eftersom tester som pågår i månader fångar upp för många yttre förändringar.
- Använd det för beslut som påverkar intäkterna, till exempel erbjudandet, hur priset presenteras, formuläret eller huvudrubriken, snarare än kosmetiska detaljer.
- Det vilseleder när måttet är för grunt, till exempel en ämnesrad som vinner på öppningar men förlorar på köp längre ner i tratten.
- För en sajt med lite trafik är en tydlig omskrivning byggd på kundintervjuer ofta mer användbar än ett test som aldrig når ett resultat.
Se upp
Vanliga misstag med A/B-tester
- Att titta i verktyget varje dag och stoppa testet så fort varianten drar ifrån, vilket utser vinnare som bara är slumpmässiga svängningar.
- Att ändra rubrik, bild och formulär i samma variant och sedan inte veta vilken av de tre ändringarna som gav resultatet.
- Att köra ett test enbart under en helgvecka, så att vinnaren speglar ovanliga köpare som inte finns kvar nästa månad.
- Att mäta klick på knappen i stället för den handling företaget faktiskt behöver, till exempel ett genomfört köp eller en kvalificerad förfrågan.
- Att aldrig skriva ner hypotesen och resultatet, så att teamet upprepar gamla tester och glömmer vad det redan har lärt sig.
Vanliga frågor
Frågor om A/B-test
Hur länge ska ett A/B-test pågå innan jag kan lita på resultatet?
Bestäm längden före start, utifrån din utgångsnivå och den minsta förbättring som är värd att upptäcka. Många team låter testet täcka minst två hela veckor så att både vardagar och helger kommer med. Att stoppa i förtid för att ena sidan ser ut att leda är det vanligaste sättet att utse en falsk vinnare.
Hur mycket trafik behöver jag för A/B-tester?
Det beror på hur ofta målet inträffar och hur stor förändring du hoppas se. En sida med låg konverteringsgrad och en subtil justering kräver många besökare per version. Om din kalkylator för urvalsstorlek säger att testet skulle ta månader, testa en större förändring eller en sida med mer trafik i stället.
Vad är skillnaden mellan A/B-test och multivariat test?
Ett A/B-test jämför hela versioner, oftast en ändring mot originalet. Ett multivariat test blandar flera element samtidigt, till exempel rubrik och bild, för att se vilken kombination som presterar. Multivariata upplägg delar besökarna i många grupper och passar därför sajter med mycket trafik.
