Dados/Experimentação

Teste A/B com pouco tráfego: o que fazer quando a estatística não te ajuda

Com poucas visitas por semana, um teste A/B clássico leva meses para dizer algo. Como experimentar com honestidade em produtos pequenos, sem falsos vencedores.

Murilo Anzini 3 min de leitura

Os casos famosos de teste A/B vêm de empresas com milhões de visitas por dia, onde uma mudança de 1% na conversão é detectável em horas. Em um produto novo, com algumas centenas de visitas por semana, a realidade é outra: o teste nunca termina, ou termina com um vencedor que é puro acaso.

Isso não significa abrir mão de experimentar. Significa experimentar de outro jeito.

Por que o teste clássico não fecha a conta

Para detectar uma diferença com confiança, você precisa de um tamanho de amostra que depende de três coisas: a taxa de conversão atual, o tamanho da diferença que quer detectar e o nível de confiança.

A regra intuitiva: quanto menor a diferença que você quer enxergar, mais visitas você precisa, e a relação não é linear. Detectar uma melhora pequena numa taxa de conversão baixa pode exigir dezenas de milhares de visitas por variação. Se você tem algumas centenas por semana, faça a conta antes de começar: muitas vezes o teste levaria mais tempo que o próprio ciclo de vida da página.

O erro mais comum é olhar o teste todo dia e parar quando aparece um vencedor. Com pouco volume, as taxas oscilam muito no começo, e parar no primeiro momento favorável quase garante um falso positivo.

Estratégia 1: teste mudanças grandes

Se você só consegue detectar diferenças grandes, teste apenas mudanças que possam gerar diferenças grandes. Cor de botão não. Coisas como:

  • Uma proposta de valor completamente diferente na manchete;
  • Uma página com preço visível vs. sem preço;
  • Um cadastro com três campos vs. um com oito;
  • Teste grátis sem cartão vs. com cartão.

Mudanças ousadas produzem efeitos maiores, que aparecem com menos amostra. E mesmo quando "perdem", ensinam mais.

Estratégia 2: mude a métrica para mais perto do topo

Se a conversão final (assinatura) é rara demais, meça um evento mais frequente que comprovadamente antecede a conversão. Cliques no CTA, início do cadastro, chegada à primeira ação de valor.

O cuidado: a métrica intermediária precisa ter relação real com o resultado. Um botão chamativo pode aumentar cliques e diminuir assinaturas, porque atrai curiosos.

Estratégia 3: troque o A/B por antes e depois, com disciplina

Quando não dá para dividir o tráfego, uma comparação de antes e depois bem-feita é melhor que nada, desde que você controle o que dá:

  • Compare períodos equivalentes (mesmo número de semanas, sem feriados no meio);
  • Mantenha os canais de aquisição estáveis (não mude a campanha junto com a página);
  • Registre a data exata da mudança e qualquer outro evento relevante;
  • Desconfie de efeitos muito grandes: verifique se não há outra explicação.

Estratégia 4: qualitativo primeiro

Com pouco tráfego, cinco testes de usabilidade valem mais que um A/B inconclusivo. Ver pessoas reais tentando usar a página revela os problemas grandes (os que justificariam um teste) antes de você gastar semanas esperando significância.

Ferramentas de gravação de sessão e mapas de calor também ajudam, desde que configuradas respeitando o consentimento do usuário.

Estratégia 5: abordagem bayesiana para decidir, não para provar

Em vez de perguntar "a diferença é estatisticamente significativa?", uma abordagem bayesiana responde "qual a probabilidade de B ser melhor que A, e quanto eu perco se escolher errado?". Para decisões de produto com baixo risco e reversíveis, aceitar uma probabilidade alta (não uma certeza) e seguir em frente costuma ser o mais racional.

O ponto central é ser honesto sobre o nível de evidência: "temos indícios de que B é melhor" é diferente de "provamos que B é melhor".

Um checklist antes de rodar qualquer teste

  1. Hipótese escrita: o que muda, por que acreditamos que melhora e qual métrica vai mostrar.
  2. Tamanho de amostra calculado: o teste é viável no tempo que temos?
  3. Duração definida antes de começar, em semanas inteiras.
  4. Métricas de proteção: o que não pode piorar (cancelamentos, tickets de suporte).
  5. Registro do resultado, inclusive (principalmente) dos testes que não deram em nada.

Resumo

Com pouco tráfego, o teste A/B clássico é mais uma fonte de autoengano do que de aprendizado. Prefira mudanças ousadas, métricas mais frequentes, comparações disciplinadas e muito qualitativo. E, acima de tudo, seja honesto sobre o que os dados realmente dizem. Uma decisão bem tomada com evidência imperfeita vale mais que uma certeza falsa.

#ab-test#experimentacao#estatistica#conversao

Murilo Anzini

Engenheiro de software com cabeça de produto, olho de dados e repertório de marketing. Analiso, crio e evoluo a jornada completa de um produto e da empresa por trás dele.

Sobre mim

Ebook gratuito

Criando infoprodutos de valor

A metodologia que uso para unir produto, marketing e vendas na criação de infoprodutos: do jeito que startups validam hipóteses, entendem necessidades e constroem o que o mercado quer comprar.

  • Entender o cliente e definir as hipóteses iniciais
  • Construir e testar um MVP enxuto
  • Medir o progresso e validar com dados
  • Saber a hora e o jeito de pivotar
Baixar grátis PDF · 23 páginas · sem cadastro