Gestão de produtos digitais: validação

Métricas de Vaidade - Introdução

Sejam bem vindos ao curso de validação de produtos. Meu nome é Mário Melo, eu sou sócio fundador da [FAC] tecnologia, facilitador na [EMERGE], e eu vou dar uma passada rapidinho aqui para vocês entenderem o que nós vamos ver nesse curso e eu acho que vocês vão gostar. Vamos lá.

Eu vou começar falando sobre as métricas de vaidade. As métricas de vaidade são números que às vezes nós acompanhamos, ficamos felizes, orgulhosos, que aquele número está alto, mas que no final das contas nem fazem tanta diferença assim ou até atrapalham o nosso acompanhamento do produto. Depois eu vou falar das métricas acionáveis, que são métricas que possuem uma relação de causa e efeito. Quando nós olhamos para elas nós conseguimos entender um pouco melhor e interferir ou replicar aquele comportamento dos nossos clientes.

Eu vou falar da importância de se ter métricas acessíveis, o nosso segundo A. Porque que as métricas precisam estar à disposição das pessoas e porque as pessoas precisam realmente ter um entendimento em comum daquela métrica. As pessoas envolvidas na criação e evolução do produto digital. Nós vamos falar das métricas auditáveis, nosso terceiro e último A.

Vamos falar um pouco sobre a importância das pessoas entenderem como que essas métricas são extraídas, para elas conseguirem validar se o número que é informado por uma métrica é real e faz sentido. Vamos falar de experimentos testes A/B, o que é um teste A/B? O que configura um desafio teste A/B? O que nós ganhamos fazendo um teste A/B. Que é basicamente mostrar duas versões diferentes do mesmo produto e tentar acompanhar alguma métrica para entender qual versão performou melhor, de acordo com aquela métrica.

Vamos falar da análise de grupos de usuários, são grupos que têm um determinado comportamento em um mesmo período de tempo, e vamos entender um pouco porque faz sentido analisar esses grupos separadamente. O que nós ganhamos com isso? Para finalizar nós vamos falar de design sprint, que é uma técnica completa que dura uma semana e nós saímos desde o mapeamento de uma ideia até o teste. E aí é realmente um teste, com usuários reais, com um feedback real, para tentarmos validar essa ideia gastando o mínimo de tempo possível. Apenas uma semana.

Espero que vocês gostem do curso e vamos começar.

Métricas de Vaidade - Métricas de Vaidade

Pra começarmos a falar de validação eu gostaria de entrar no assunto que é uma grande armadilha existente nessa área, são as métricas da vaidade. Como o Eric Ries escreve no livro Lean Startup, são métricas que às vezes nós medimos porque elas nos fazem se sentir bem.

Por exemplo, quando criamos um site onde nós podemos ter um número de assinantes de e-mail, onde vamos mandar uma newsletter com algum conteúdo nosso, e de repente começamos a olhar quantos assinantes nós temos, "nossa, o número de assinantes está crescendo. Que coisa maravilhosa. O site está bombando", mas será que essa métrica é uma métrica válida para pra entendermos o comportamento do nosso público?

Então, e se estamos mandando pra um tanto de assinante como um tanto de e-mail falso? E se tiver caído tudo na pasta de spam? E se tiver, por exemplo, o Gmail agora separa os e-mails importantes e os não tão importantes. E se estivermos caindo sempre no não tão importante? Ninguém está lendo. Qual é a vantagem de ter um grande número de assinantes?

Outra coisa interessante é, por exemplo, o número de downloads. Nós disponibilizamos lá um aplicativo, um joguinho para Android, iOS, e nós avaliamos lá quantas pessoas já baixaram. "Poxa, 50 mil", "100 mil pessoas", mas quantas já desinstalaram o aplicativo? Quantas instalaram e largaram ali porque tem o telefone com muita memória, não está fazendo falta e o aplicativo está só largado ali?

Nós ganhamos dinheiro com essas pessoas? Qual é o retorno que nós temos pelo fato de ter muitas pessoas com o aplicativo instalado? Essa é uma pergunta que nós precisamos nos fazer quando começamos a trabalhar com métricas do nosso produto. Vamos dar um exemplo, uma pergunta bem fácil: existe ganho direto?

Quando olhamos para o número de downloads tem 200 mil, passou para 250 mil download, ótimo, mas o que nós estamos ganhando com isso? De repente nós temos que medir outra coisa, que tem uma relação mais direta com o benefício. E tem uma questão Interessante sobre métricas também que medir custa. Custa tempo, custa dinheiro. Então, existe um custo associado ao simples fato de criarmos uma métrica e acompanhar essa métrica.

Então, essa métrica tem que dar um informação relevante para nós. Se for só para inflar o nosso ego, "ah, o número de assinantes aumentou", "nós temos muitas instalações”. Talvez não valha a pena nós seguirmos medindo isso. Uma dica muito legal sobre quando uma métrica é válida ou não, que ajuda a pensarmos um pouquinho, é fazer um pequeno exercício.

Pega aquela métrica, vamos supor que é uma métrica X, que é 100. Nós medimos e deu 100. O que nós temos que nos perguntar? Que atitude eu tomo caso essa métrica ela vá para 2? E que atitude que eu tomo caso essa métrica vá de 100 para 1 milhão? Se a nossa maneira de agir não mudar, não faz sentido medir. Eu estou medindo, mas esse número, essa medição ela não está me ajudando a tomar nenhum tipo de decisão. Então, talvez nós não devêssemos nem estar medindo isso.

Outro ponto interessante também sobre essas métricas é avaliar se quando tem essa variação, nós medimos em 100, 110, 120, vamos supor, número de acesso à nossa página, do nosso produto. Nós conseguimos interferir nesse número? Será que nós conseguimos fazer algo que faça esse número crescer ou diminuir? Porque às vezes nós temos uma grande variação por um fator externo, que nós não controlamos.

É legal fazermos essas medições quando a gente conseguimos efetivamente fazer essa intervenção. E quando nós temos essas métricas de vaidade, como eu mencionei, o número de assinantes, total de downloads, uma coisa que pode acontecer também, um prejuízo, é que nós podemos ter um direcionamento errado das pessoas.

Então, nós falamos muito de estabelecer uma visão do produto, de tentar alinhar todas as pessoas que trabalham naquele produto para uma mesma visão, para todo mundo trabalhar e empurrar o produto naquela direção. Preferencialmente na direção do sucesso do produto, sucesso de vendas. E quando criamos uma métrica errada, nós podemos fazer um redirecionamento, mesmo que sem querer, e fazer com que as pessoas trabalhem de uma forma contrária à visão do produto.

[04:56] Algumas métricas de vaidade, por exemplo, vamos pensar aqui, um supermercado faturou 48 milhões no último ano, mas teve um lucro líquido de 15 mil, porque ele compra o produto e vende o produto por um preço muito próximo ao preço de custo, ou porque ele tem uma estrutura que é muito custosa. Então, faturou muito dinheiro, tem uma clientela vasta, mas na hora que vamos olhar o que está entrando mesmo, o resultado, ele não é tão positivo.

Se batemos o olho no faturamento, ele passa a ser uma métrica de vaidade, "nós estamos faturando muito", mas podemos faturar muito e ter prejuízo. Em algumas situações isso é aceitável, mas no geral, quando estamos iniciando um produto, nós podemos, de repente, financiar um pouquinho, tirar dinheiro do bolso para injetar, para bancar esse prejuízo, mas não é uma coisa sustentável a longo prazo.

Outra coisa que pode acontecer é quando nós temos uma métrica que não reflete a missão, e a visão do produto. Então, imagina que nós temos uma consultoria de trânsito, e nos três primeiros meses, essa consultoria, que ela começa a trabalhar com trânsito na cidade, ela mostra que ela aumentou em 39%, 40% o número de multas que ela aplica. Eu aumentei aqui 39%, estou arrecadando dinheiro, mas se ela é uma consultoria de trânsito, o objetivo era melhorar a fluidez do trânsito.

Talvez ao estar aplicando muitas multas ela esteja, na verdade, reforçando um comportamento ruim. Se o objetivo é aumentar o número de multas, eu quero mais é que o trânsito fique ruim, para eu poder aumentar. Quero mais gente estacionando em lugar proibido, invadindo contramão, etc. Uma visão dessa consultoria deveria ser: eu quero um trânsito mais fluido, eu quero medir o tempo, a velocidade média da via, o número de acidentes diminuindo, a métrica tem que ser de acordo com a visão.

Então, é muito perigoso quando nós começamos a pegar essas métricas de vaidade, porque nós podemos acabar direcionando o nosso produto por um caminho não muito legal. As métricas, como falei, elas moldam o comportamento. As pessoas que trabalham, quando você tem essas metas estabelecidas, as pessoas que trabalham no produto elas vão sempre tentar buscar melhorar a métrica que foi definido para elas. Se for uma métrica mal definida, podemos pegar um caminho muito ruim.

E nós começamos a ter também algum conflito entre equipes, porque se nós temos uma equipe que está monitorando uma determinada métrica e quer melhorar o produto, "vamos procurar aumentar o número de downloads", e a outra equipe quer melhorar o produto para pegar uma outra métrica que, de repente, são métricas que não são coerentes, essas equipes podem acabar entrando em conflito, e nós temos um grupo que está ali no mesmo barco, mas está cavando um buraco no barco. Está levando o produto para um caminho ruim.

É isso, tem que tomar muito cuidado com as partes de métricas de vaidade, ficar muito atento ao que estamos está medindo. Pensar qual vai ser o critério de sucesso do nosso produto e selecionar bem o que vale a pena ou não acompanhar.

Métricas Acionáveis - Métricas Acionáveis

Agora que nós já falamos sobre métricas de vaidade, que é aquilo que nós não queremos acompanhar tão de perto, eu vou explicar sobre alguns tipos métricas que nós realmente queremos, que nós temos que buscar quando nós queremos tentar alcançar o sucesso do produto. Primeiro, são três "A", o primeiro A vão ser as métricas acionáveis, o que significam uma métrica acionável?

Basicamente, uma métrica que nós conseguimos estabelecer uma relação de causa e efeito. Então, quando eu olho para uma determinada métrica e vejo que houve uma variação, eu consigo estabelecer o que causou essa variação, eu consigo analisar essa métrica de uma forma mais aprofundada. "Mas como assim, Mário? Como nós estabelecemos essa relação de causa e efeito?".

Bom, vou pegar um exemplo aqui bem simples. Imagina que nós tivemos um "boom" de acesso no nosso site. Nós temos uma página do produto e, de repente, nós vimos que o pessoal começou a acessar muito essa página, mas aí nós começamos a questionar essa métrica, o que é um acesso? De onde vieram esses acessos? Quem que está acessando? Por que é que essas pessoas estão acessando? Quantos usuários diferentes acessaram a página?

Será que foi uma pessoa só clicando um tanto de vez? Será que cada pessoa acessou uma única página? Será que tem alguma coisa que pode ter impulsionado esse número de acesso? E o que é um acesso? Às vezes nós clicamos na página e aquela página carrega um tanto de imagem, e cada imagem conta com um acesso, por exemplo, uma requisição pro nosso servidor.

E se tiver um evento externo? Vamos imaginar que nós fizemos lá uma página de um joguinho, e nós descobrimos que o Neymar twittou e falou: "cara, esse jogo é incrível", e marcou lá, botou hashtag e colocou o link. Então, se ele fez isso, se o Neymar twittou e nós tivemos um "boom" de acesso no nosso site, nós não somos capazes de replicar isso, nós conseguimos entender a causa, conseguimos entender o efeito, mas nós não conseguimos replicar.

Nós só vamos conseguir fazer essa análise de uma forma clara, sobre se conseguimos ou não replicar, se a gente entender muito bem essa métrica e conseguirmos estabelecer essa relação de causa e efeito. E o importante nessa relação, porque no ciclo de uma startup, toda essa coisa dos três A, o ciclo em startup, da vem lá do livro do Eric Ries, e nós precisamos tentar rodar esse ciclo, que é construir, medir e aprender.

Então, eu só consigo efetivamente aprender algo sobre o que eu medi, se eu conseguir entender essa relação de causa efeito, porque eu começo a poder fazer alguns experimentos, como eu replico esse comportamento? Será que se eu mexer aqui, vamos supor, vou colocar o botão do site ali um pouquinho maior, ou de repente eu vou colocar um banner com uma promoção para ver se esse número aumenta, se ele diminui. Então, nós começa a tentar replicar esse comportamento dos nossos usuários.

E uma coisa que é muito legal de se fazer, quando nós estamos pensando nesses experimentos, é tentar descobrir isso em grupo, porque às vezes nós temos um tanto de evidência, uma métrica que subiu, um experimento aqui, e às vezes é difícil para uma pessoa só fazer essa relação causa e efeito, e compreender o cenário como um todo.

Vamos pegar um exemplo para tentar entender por que é legal fazer em grupo, para tentarmos destrinchar essa relação de causa e efeito. Imagine que nós temos uma empresa de TI e ela estabeleceu uma relação que quando ela faz mais anúncios na internet, usa lá o Google Ads, alguma coisa, aumenta o número de bugs. É uma relação que eles conseguiram estabelecer, bateram ali, número de Ads aumenta o número de bugs.

Talvez, se tivesse uma pessoa só analisando, pudesse chegar a essa conclusão de uma forma rápida e equivocada. Quando nós temos mais gente, nós começamos a questionar, "espera, esse relacionamento está estranho. Como é que o número de Ads aumenta o número de bugs? Vamos destrinchar isso".

"Olha, na verdade não é isso que acontece, o que acontece é que nós aumentamos o número de ADS e nós temos mais leads, mais pessoas interessadas no nosso produto, e com isso fazemos mais vendas, mais conversões. E nós aumentamos o número de usuários ativos no nosso sistema, nós passamos a ter muito usuário, e esse aumento de usuário ativo no sistema, ele ocasiona um aumento de bugs". Agora sim nós temos uma relação causal, às vezes precisamos mesmo quebrar, para poder entender qual parte precisamos melhorar.

Será que nós temos que parar de fazer Ads para diminuir o número de bugs? Se nós fizermos 0 Ads, vai ser 0 bugs? Dificilmente, mas talvez o problema esteja no número de usuários ativos. Às vezes a nossa aplicação hoje não está estruturada para receber aquele tanto de usuário, então, quando aumentou, começou a ficar lento, começou a ter mais reclamações, e nós começamos a entender mais ou menos essa relação.

Só pra dar mais alguns exemplos, eu mencionei na aula sobre métricas de vaidade o número de assinantes na newsletter, uma métrica interessante para avaliarmos seria o número de assinantes versus o número de cliques no e-mail. Nós conseguimos quando faz uma campanha mensurar, quem abriu o e-mail e quem não abriu, ou quem abriu e clicou no link, no link, no call to action que colocamos no e-mail que foi para o nosso site.

Então, essa é uma métrica mais interessante. Eu disparei um milhão de e-mail, tenho 1 milhão de assinantes, mas só 2 abriram o e-mail. Não é tão legal. Dá pra pegarmos essa métrica e trabalhar ela um pouquinho melhor. Então, o tempo que o usuário gasta na página do nosso site, ele abriu a página e tem usuário que, na média, estão ficando 12 minutos no nosso site. 12 minutos é muito tempo.

Mas, e se medirmos quem fez scroll até o fundo da página? Quem pegou e leu o conteúdo mesmo? Às vezes a pessoa abre, deixa a página aberta, sai, vai fazer outra coisa, ou tem 98 abas abertas no computador e já até esqueceu que aquilo ali está aberto há muito tempo. Então, é legal pensarmos nas métricas e começar a questionar. "Eu consigo estabelecer uma relação de causa e efeito?" e "se essa métrica variar o que eu posso fazer para tentar replicar um determinado tipo de comportamento?".

"Eu quero que mais usuários vão até o fundo da minha página, o que eu faço?", "eu quero que mais usuários fiquem mais tempo na minha página", será que faz sentido? Puramente, pode até fazer sentido em alguns contextos, mas só essa métrica? Então, essa é a ideia das métricas acionáveis.

Sobre o curso Gestão de produtos digitais: validação

O curso Gestão de produtos digitais: validação possui 71 minutos de vídeos, em um total de 23 atividades. Gostou? Conheça nossos outros cursos de Gestão de Produtos em Inovação & Gestão, ou leia nossos artigos de Inovação & Gestão.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Métricas de Vaidade
• Métricas Acionáveis
• Métricas Acessíveis
• Métricas Auditáveis
• Testes AB
• Análise Cohort
• Design Sprint