Dados/Analytics

Viés de seleção: o funil mostra quem ficou, não quem foi embora

Quem aparece no seu dado nunca é o público inteiro. Como o viés de seleção distorce a leitura do funil e leva o time a atuar na etapa errada, e o que eu faço para me proteger dele.

Murilo Anzini 6 min de leitura

Toda análise de funil começa com uma pergunta que quase ninguém faz em voz alta: quem está nesse dado, e quem ficou de fora dele? Na minha visão, é exatamente nessa pergunta que mora boa parte das decisões ruins de produto e marketing que eu já vi, inclusive algumas minhas.

O nome disso é viés de seleção, e ele é traiçoeiro porque não aparece no gráfico. O gráfico está certo. Os números estão certos. O problema é o recorte de pessoas que chegou até ele.

O que é viés de seleção

De uma forma simples: viés de seleção acontece quando o grupo que você está analisando não representa o grupo sobre o qual você quer tomar a decisão. Você olha para uma parte, tira uma conclusão e aplica no todo.

O exemplo clássico é o dos aviões da Segunda Guerra. Os engenheiros analisavam os aviões que voltavam das missões, marcavam onde estavam os buracos de bala e queriam reforçar essas regiões. O estatístico Abraham Wald apontou o contrário: os buracos mostravam onde um avião podia ser atingido e mesmo assim voltar. Os pontos que precisavam de reforço eram justamente os que não tinham marca nenhuma, porque os aviões atingidos ali não voltaram para ser analisados.

O funil é cheio de aviões que não voltaram.

Eu já caí nisso, e você provavelmente também

No meu ebook eu conto duas situações que, olhando hoje, são viés de seleção puro.

A primeira foi nas entrevistas com clientes. Aqui existe uma grande pegadinha: a grande maioria dos clientes dispostos a participar de uma entrevista são clientes ligeiramente satisfeitos. Quem está muito insatisfeito não quer conversar, e quem está indiferente não tem tempo. Se eu tirasse conclusões só das entrevistas, ia achar que o produto estava bem e que faltavam detalhes. Foi por isso que passei a misturar as conversas com um formulário anônimo, com espaço aberto para crítica, para alcançar justamente quem não ia aparecer de outro jeito.

A segunda foi nas primeiras vendas. Eu fui atrás de pessoas conhecidas, pelo WhatsApp mesmo, apresentando a proposta de valor, e vendi. Ótimo, mas não dava para assumir que aquilo validava a hipótese, porque uma parte da compra era confiança em mim, e não no produto. O grupo que comprou não representava o desconhecido que ia chegar por um anúncio. Só fui considerar a hipótese de valor testada quando ela começou a vender para quem nunca tinha ouvido falar de mim.

Perceba que em nenhum dos dois casos o dado estava errado. O recorte é que estava.

Onde ele aparece no funil

Alguns lugares onde eu sempre desconfio:

Taxa de conversão etapa por etapa

A taxa da etapa 3 é calculada só com quem passou da etapa 2. Então, quando você melhora a etapa 2 e traz mais gente para a etapa 3, a etapa 3 passa a receber pessoas diferentes, menos convencidas, que antes ficavam pelo caminho. É natural a taxa da etapa 3 cair, e não quer dizer que ela piorou. Já vi time comemorar a melhoria de uma etapa e, na semana seguinte, abrir uma investigação sobre a "queda" da próxima.

Feature que "retém mais"

"Quem usa o relatório retém muito mais, então vamos empurrar o relatório para todo mundo." Talvez. Mas quem foi atrás do relatório sozinho provavelmente já era o usuário mais engajado, e reteria de qualquer jeito. O relatório pode ser consequência do engajamento, e não a causa. Empurrar a feature para quem não pediu pode não mudar nada.

Pesquisa de satisfação

NPS e pesquisa dentro do produto só ouvem quem ainda está no produto. Quem cancelou não responde. Se você usa isso para decidir o que melhorar, está desenhando o produto para quem já ficou.

Medição com consentimento e bloqueadores

Quem aceita cookies não é igual a quem recusa, e quem usa bloqueador de anúncios costuma ter outro perfil. O seu analytics enxerga uma parte do público, e essa parte não é sorteada. Vale saber o tamanho do que você não vê antes de cravar uma conclusão.

Canal que "converte melhor"

Busca pela sua marca quase sempre aparece como o canal de maior conversão. Claro: quem digita o seu nome já decidiu. O canal não converteu essa pessoa, ele só estava no caminho dela. Atribuir o mérito a ele e cortar o resto pode secar justamente o que trazia gente para buscar o seu nome.

Coortes recentes

Quem entrou na semana passada ainda não teve tempo de comprar, voltar ou cancelar. Comparar a coorte nova com a de três meses atrás, sem igualar a janela, faz qualquer mudança recente parecer pior (ou melhor) do que é.

O erro de escolher onde atuar pelo maior drop

Drop é o termo que a gente usa para o ponto onde um grupo de usuários sai em comum. E o reflexo natural, quando abrimos um funil, é ir direto na etapa com o maior drop. Às vezes é isso mesmo. No ebook eu mostro um experimento em que atacar o drop no começo da página melhorou todas as etapas seguintes.

Mas antes de escolher o ponto de atuação, eu tento responder uma pergunta: quem está saindo é quem eu queria que ficasse?

Uma etapa que filtra quem não tem perfil é uma etapa saudável. Um drop grande num formulário de qualificação pode ser exatamente o funil funcionando. Se você "conserta" essa etapa, empurra para baixo gente que nunca ia comprar, a conversão final cai, o time comercial perde tempo e a conclusão vira "a etapa 4 piorou".

Uma coisa que eu comento no ebook vai na mesma linha: quando a mensagem do anúncio é mais específica, existe uma tendência de trazer menos pessoas para o site, porém pessoas mais propensas a avançar. Olhando só o volume, parece pior. Olhando o funil inteiro, é melhor. É o mesmo raciocínio ao contrário: mudar quem entra muda todas as taxas depois.

Desconfie de toda melhoria de taxa que vem junto com queda de volume, e de toda queda de taxa que vem junto com aumento de volume. Na maioria das vezes, quem mudou foi o grupo, não a etapa.

Como eu tento me proteger

Não existe um jeito de eliminar o viés de seleção, mas dá para reduzir muito o estrago. O que eu costumo fazer:

  1. Defino a população antes de olhar o número. Sobre quem é essa decisão? Todos os visitantes? Quem veio de anúncio? Quem já é cliente? Escrever isso antes evita escolher o recorte que confirma o que eu já achava.
  2. Pergunto quem não está no dado. Quem desistiu antes do primeiro evento, quem recusou cookies, quem não respondeu, quem cancelou. Às vezes não dá para medir, mas dá para estimar o tamanho e ter cuidado com a conclusão.
  3. Analiso por coorte de entrada, não por etapa isolada. Um grupo que entrou no mesmo período, pela mesma origem, acompanhado do começo ao fim. É o que eu faço nos experimentos: mesma origem, mesma janela de dias, partindo do mesmo evento inicial.
  4. Separo correlação de causa com experimento. Se eu acho que uma feature ou uma mensagem causa o resultado, o caminho honesto é testar com grupos sorteados, um de cada vez. Escrevi sobre isso em teste A/B com pouco tráfego.
  5. Olho volume e taxa juntos. Taxa sem volume engana, volume sem taxa também.
  6. Ouço quem não quer falar. Formulário anônimo, conversa com quem cancelou, com quem pediu reembolso. São as pessoas mais difíceis de alcançar e, a meu ver, as que mais ensinam.

Resumo

O funil mostra o comportamento de quem chegou até ele, e quem chega nunca é um sorteio do seu público. Antes de decidir onde atuar, pergunte quem está no dado, quem ficou de fora e se quem está saindo é quem você queria que ficasse. Drop grande nem sempre é problema, taxa que cai nem sempre é piora e o canal que mais converte nem sempre é o que mais trouxe. Na dúvida, compare grupos parecidos, mude uma coisa por vez e olhe o quadro todo.

#analytics#funil#vies#decisao#cohort

Murilo Anzini

Conteúdo prático de engenharia, produto, dados e marketing para quem quer entender e construir a jornada completa de um produto.

Em tempos em que tudo vem da IA, eu gosto de escrever porque isso reforça meu aprendizado e é meu momento de evolução pessoal, e compartilhar isso com você é um prazer. As ideias, as opiniões e as histórias são minhas; a IA me ajuda a estruturar, revisar e traduzir, porque ninguém é de ferro.

Sobre mim

Ebook gratuito

Criando infoprodutos de valor

A metodologia que uso para unir produto, marketing e vendas na criação de infoprodutos: do jeito que startups validam hipóteses, entendem necessidades e constroem o que o mercado quer comprar.

  • Entender o cliente e definir as hipóteses iniciais
  • Construir e testar um MVP enxuto
  • Medir o progresso e validar com dados
  • Saber a hora e o jeito de pivotar
Baixar grátisPDF · 23 páginas · sem cadastro