Question 1

Cos'è la significatività statistica in un A/B test?

Accepted Answer

Indica quanto è probabile che la differenza osservata tra le varianti sia reale e non dovuta al caso. Con confidenza al 95%, accetti un rischio del 5% di aver sbagliato (falso positivo).

Question 2

Quanti visitatori servono per un A/B test?

Accepted Answer

Dipende dall'uplift atteso e dal tasso di conversione base. Con CR del 5% e uplift del 20%, servono circa 3.800 visitatori per variante per confidenza al 95%. Usa un calcolatore di sample size per pianificare.

Question 3

Cosa significa p-value?

Accepted Answer

Il p-value è la probabilità di osservare un risultato così estremo se non ci fosse alcuna differenza reale. Con p < 0,05 (confidenza 95%) il test è significativo. Più basso il p-value, più forte l'evidenza.

Question 4

Posso fermare il test appena vedo un risultato positivo?

Accepted Answer

No, è il cosiddetto 'peeking problem'. Fermare il test prematuramente gonfia il tasso di falsi positivi fino al 30-40%. Bisogna stabilire la durata in anticipo e rispettarla.

Question 5

Che differenza c'è tra A/B test e test multivariato?

Accepted Answer

In un A/B test si testa una sola variabile per volta (es. CTA rossa vs verde). Un test multivariato testa combinazioni di più variabili contemporaneamente, richiedendo molto più traffico per raggiungere la significatività.

Esempi di calcolo