A/B-тест: значущість
Конверсії варіантів A і B → z-тест, p-value, вердикт
Варіанти
Двовибірковий z-тест пропорцій: z = (pB−pA)/√(p(1−p)(1/nA+1/nB)). p<0.05 — різниця статистично значуща (95%). Не робіть висновків на малих вибірках: потрібні сотні конверсій. Також дивіться на uplift — різниця може бути значущою але копійчаною.
Результат
- A
- 5.00%
- B
- 6.08%
- Uplift
- +21.6%
- z
- 2.39
- p-value
- 0.0167
- Вердикт
- Значуще (95%)