Toda análise de funil começa com uma pergunta que quase ninguém faz em voz alta: quem está nesse dado, e quem ficou de fora dele? Na minha visão, é exatamente nessa pergunta que mora boa parte das decisões ruins de produto e marketing que eu já vi, inclusive algumas minhas.
O nome disso é viés de seleção, e ele é traiçoeiro porque não aparece no gráfico. O gráfico está certo. Os números estão certos. O problema é o recorte de pessoas que chegou até ele.
O que é viés de seleção
De uma forma simples: viés de seleção acontece quando o grupo que você está analisando não representa o grupo sobre o qual você quer tomar a decisão. Você olha para uma parte, tira uma conclusão e aplica no todo.
O exemplo clássico é o dos aviões da Segunda Guerra. Os engenheiros analisavam os aviões que voltavam das missões, marcavam onde estavam os buracos de bala e queriam reforçar essas regiões. O estatístico Abraham Wald apontou o contrário: os buracos mostravam onde um avião podia ser atingido e mesmo assim voltar. Os pontos que precisavam de reforço eram justamente os que não tinham marca nenhuma, porque os aviões atingidos ali não voltaram para ser analisados.
O funil é cheio de aviões que não voltaram.
Eu já caí nisso, e você provavelmente também
No meu ebook eu conto duas situações que, olhando hoje, são viés de seleção puro.
A primeira foi nas entrevistas com clientes. Aqui existe uma grande pegadinha: a grande maioria dos clientes dispostos a participar de uma entrevista são clientes ligeiramente satisfeitos. Quem está muito insatisfeito não quer conversar, e quem está indiferente não tem tempo. Se eu tirasse conclusões só das entrevistas, ia achar que o produto estava bem e que faltavam detalhes. Foi por isso que passei a misturar as conversas com um formulário anônimo, com espaço aberto para crítica, para alcançar justamente quem não ia aparecer de outro jeito.
A segunda foi nas primeiras vendas. Eu fui atrás de pessoas conhecidas, pelo WhatsApp mesmo, apresentando a proposta de valor, e vendi. Ótimo, mas não dava para assumir que aquilo validava a hipótese, porque uma parte da compra era confiança em mim, e não no produto. O grupo que comprou não representava o desconhecido que ia chegar por um anúncio. Só fui considerar a hipótese de valor testada quando ela começou a vender para quem nunca tinha ouvido falar de mim.
Perceba que em nenhum dos dois casos o dado estava errado. O recorte é que estava.
Onde ele aparece no funil
Alguns lugares onde eu sempre desconfio:
Taxa de conversão etapa por etapa
A taxa da etapa 3 é calculada só com quem passou da etapa 2. Então, quando você melhora a etapa 2 e traz mais gente para a etapa 3, a etapa 3 passa a receber pessoas diferentes, menos convencidas, que antes ficavam pelo caminho. É natural a taxa da etapa 3 cair, e não quer dizer que ela piorou. Já vi time comemorar a melhoria de uma etapa e, na semana seguinte, abrir uma investigação sobre a "queda" da próxima.
Feature que "retém mais"
"Quem usa o relatório retém muito mais, então vamos empurrar o relatório para todo mundo." Talvez. Mas quem foi atrás do relatório sozinho provavelmente já era o usuário mais engajado, e reteria de qualquer jeito. O relatório pode ser consequência do engajamento, e não a causa. Empurrar a feature para quem não pediu pode não mudar nada.
Pesquisa de satisfação
NPS e pesquisa dentro do produto só ouvem quem ainda está no produto. Quem cancelou não responde. Se você usa isso para decidir o que melhorar, está desenhando o produto para quem já ficou.
Medição com consentimento e bloqueadores
Quem aceita cookies não é igual a quem recusa, e quem usa bloqueador de anúncios costuma ter outro perfil. O seu analytics enxerga uma parte do público, e essa parte não é sorteada. Vale saber o tamanho do que você não vê antes de cravar uma conclusão.
Canal que "converte melhor"
Busca pela sua marca quase sempre aparece como o canal de maior conversão. Claro: quem digita o seu nome já decidiu. O canal não converteu essa pessoa, ele só estava no caminho dela. Atribuir o mérito a ele e cortar o resto pode secar justamente o que trazia gente para buscar o seu nome.
Coortes recentes
Quem entrou na semana passada ainda não teve tempo de comprar, voltar ou cancelar. Comparar a coorte nova com a de três meses atrás, sem igualar a janela, faz qualquer mudança recente parecer pior (ou melhor) do que é.
O erro de escolher onde atuar pelo maior drop
Drop é o termo que a gente usa para o ponto onde um grupo de usuários sai em comum. E o reflexo natural, quando abrimos um funil, é ir direto na etapa com o maior drop. Às vezes é isso mesmo. No ebook eu mostro um experimento em que atacar o drop no começo da página melhorou todas as etapas seguintes.
Mas antes de escolher o ponto de atuação, eu tento responder uma pergunta: quem está saindo é quem eu queria que ficasse?
Uma etapa que filtra quem não tem perfil é uma etapa saudável. Um drop grande num formulário de qualificação pode ser exatamente o funil funcionando. Se você "conserta" essa etapa, empurra para baixo gente que nunca ia comprar, a conversão final cai, o time comercial perde tempo e a conclusão vira "a etapa 4 piorou".
Uma coisa que eu comento no ebook vai na mesma linha: quando a mensagem do anúncio é mais específica, existe uma tendência de trazer menos pessoas para o site, porém pessoas mais propensas a avançar. Olhando só o volume, parece pior. Olhando o funil inteiro, é melhor. É o mesmo raciocínio ao contrário: mudar quem entra muda todas as taxas depois.
Como eu tento me proteger
Não existe um jeito de eliminar o viés de seleção, mas dá para reduzir muito o estrago. O que eu costumo fazer:
- Defino a população antes de olhar o número. Sobre quem é essa decisão? Todos os visitantes? Quem veio de anúncio? Quem já é cliente? Escrever isso antes evita escolher o recorte que confirma o que eu já achava.
- Pergunto quem não está no dado. Quem desistiu antes do primeiro evento, quem recusou cookies, quem não respondeu, quem cancelou. Às vezes não dá para medir, mas dá para estimar o tamanho e ter cuidado com a conclusão.
- Analiso por coorte de entrada, não por etapa isolada. Um grupo que entrou no mesmo período, pela mesma origem, acompanhado do começo ao fim. É o que eu faço nos experimentos: mesma origem, mesma janela de dias, partindo do mesmo evento inicial.
- Separo correlação de causa com experimento. Se eu acho que uma feature ou uma mensagem causa o resultado, o caminho honesto é testar com grupos sorteados, um de cada vez. Escrevi sobre isso em teste A/B com pouco tráfego.
- Olho volume e taxa juntos. Taxa sem volume engana, volume sem taxa também.
- Ouço quem não quer falar. Formulário anônimo, conversa com quem cancelou, com quem pediu reembolso. São as pessoas mais difíceis de alcançar e, a meu ver, as que mais ensinam.
Resumo
O funil mostra o comportamento de quem chegou até ele, e quem chega nunca é um sorteio do seu público. Antes de decidir onde atuar, pergunte quem está no dado, quem ficou de fora e se quem está saindo é quem você queria que ficasse. Drop grande nem sempre é problema, taxa que cai nem sempre é piora e o canal que mais converte nem sempre é o que mais trouxe. Na dúvida, compare grupos parecidos, mude uma coisa por vez e olhe o quadro todo.
Murilo Anzini
Conteúdo prático de engenharia, produto, dados e marketing para quem quer entender e construir a jornada completa de um produto.
Em tempos em que tudo vem da IA, eu gosto de escrever porque isso reforça meu aprendizado e é meu momento de evolução pessoal, e compartilhar isso com você é um prazer. As ideias, as opiniões e as histórias são minhas; a IA me ajuda a estruturar, revisar e traduzir, porque ninguém é de ferro.