Os casos famosos de teste A/B vêm de empresas com milhões de visitas por dia, onde uma mudança de 1% na conversão é detectável em horas. Em um produto novo, com algumas centenas de visitas por semana, a realidade é outra: o teste nunca termina, ou termina com um vencedor que é puro acaso.
Isso não significa abrir mão de experimentar. Significa experimentar de outro jeito.
Por que o teste clássico não fecha a conta
Para detectar uma diferença com confiança, você precisa de um tamanho de amostra que depende de três coisas: a taxa de conversão atual, o tamanho da diferença que quer detectar e o nível de confiança.
A regra intuitiva: quanto menor a diferença que você quer enxergar, mais visitas você precisa, e a relação não é linear. Detectar uma melhora pequena numa taxa de conversão baixa pode exigir dezenas de milhares de visitas por variação. Se você tem algumas centenas por semana, faça a conta antes de começar: muitas vezes o teste levaria mais tempo que o próprio ciclo de vida da página.
Estratégia 1: teste mudanças grandes
Se você só consegue detectar diferenças grandes, teste apenas mudanças que possam gerar diferenças grandes. Cor de botão não. Coisas como:
- Uma proposta de valor completamente diferente na manchete;
- Uma página com preço visível vs. sem preço;
- Um cadastro com três campos vs. um com oito;
- Teste grátis sem cartão vs. com cartão.
Mudanças ousadas produzem efeitos maiores, que aparecem com menos amostra. E mesmo quando "perdem", ensinam mais.
Estratégia 2: mude a métrica para mais perto do topo
Se a conversão final (assinatura) é rara demais, meça um evento mais frequente que comprovadamente antecede a conversão. Cliques no CTA, início do cadastro, chegada à primeira ação de valor.
O cuidado: a métrica intermediária precisa ter relação real com o resultado. Um botão chamativo pode aumentar cliques e diminuir assinaturas, porque atrai curiosos.
Estratégia 3: troque o A/B por antes e depois, com disciplina
Quando não dá para dividir o tráfego, uma comparação de antes e depois bem-feita é melhor que nada, desde que você controle o que dá:
- Compare períodos equivalentes (mesmo número de semanas, sem feriados no meio);
- Mantenha os canais de aquisição estáveis (não mude a campanha junto com a página);
- Registre a data exata da mudança e qualquer outro evento relevante;
- Desconfie de efeitos muito grandes: verifique se não há outra explicação.
Estratégia 4: qualitativo primeiro
Com pouco tráfego, cinco testes de usabilidade valem mais que um A/B inconclusivo. Ver pessoas reais tentando usar a página revela os problemas grandes (os que justificariam um teste) antes de você gastar semanas esperando significância.
Ferramentas de gravação de sessão e mapas de calor também ajudam, desde que configuradas respeitando o consentimento do usuário.
Estratégia 5: abordagem bayesiana para decidir, não para provar
Em vez de perguntar "a diferença é estatisticamente significativa?", uma abordagem bayesiana responde "qual a probabilidade de B ser melhor que A, e quanto eu perco se escolher errado?". Para decisões de produto com baixo risco e reversíveis, aceitar uma probabilidade alta (não uma certeza) e seguir em frente costuma ser o mais racional.
O ponto central é ser honesto sobre o nível de evidência: "temos indícios de que B é melhor" é diferente de "provamos que B é melhor".
Um checklist antes de rodar qualquer teste
- Hipótese escrita: o que muda, por que acreditamos que melhora e qual métrica vai mostrar.
- Tamanho de amostra calculado: o teste é viável no tempo que temos?
- Duração definida antes de começar, em semanas inteiras.
- Métricas de proteção: o que não pode piorar (cancelamentos, tickets de suporte).
- Registro do resultado, inclusive (principalmente) dos testes que não deram em nada.
Resumo
Com pouco tráfego, o teste A/B clássico é mais uma fonte de autoengano do que de aprendizado. Prefira mudanças ousadas, métricas mais frequentes, comparações disciplinadas e muito qualitativo. E, acima de tudo, seja honesto sobre o que os dados realmente dizem. Uma decisão bem tomada com evidência imperfeita vale mais que uma certeza falsa.
Murilo Anzini
Engenheiro de software com cabeça de produto, olho de dados e repertório de marketing. Analiso, crio e evoluo a jornada completa de um produto e da empresa por trás dele.