Antes de rodar a campanha: qual o menor grupo de controle que ainda permite medir o efeito real, sem sacrificar alcance à toa?
Conceito · Holdout
Técnico: grupo deliberadamente mantido sem a intervenção durante uma janela definida para servir como referência.
Em linguagem simples: é uma parcela que fica "fora da campanha" para medir o que aconteceria sem ela.
Exemplo demonstrativo: os valores pré-preenchidos vêm de uma prática real de campanha (base de ~1,2 milhão de usuários) — não é uma regra, apenas um caso ilustrativo.
—
Holdout recomendado
—
Controle / Tratamento
Preencha os parâmetros e clique em "Calcular holdout".
—
Método: busca binária sobre o tamanho do holdout, usando a mesma fórmula de poder estatístico do Statistical Power Calculator. Diferente do Sample Size Calculator, aqui o público total é fixo — aumentar o controle necessariamente reduz o tratamento, então o cálculo busca o menor holdout que ainda atinge o poder desejado.
Por que não simplesmente 50/50: numa campanha de marketing, expor menos gente ao "sem campanha" custa alcance/receita potencial. O objetivo aqui é o holdout mínimo defensável, não o desenho estatisticamente "ideal" de um experimento de laboratório.