Multivariate Testing: testando mais de duas versões

Multivariate Testing: testando mais de duas versões
Gabriela de Lima
Gabriela de Lima

Compartilhe

Hoje em dia é muito comum ouvirmos sobre Teste A/B, que é uma forma de pesquisa na qual as pessoas usuárias são divididas em dois grupos e são ofertadas uma versão diferente do mesmo produto para cada uma. Esse tipo de teste torna possível avaliar qual versão funciona melhor e atinge maiores resultados.

Mas o que fazer nas situações em que temos mais de duas versões para testar? Nesses casos, temos o Multivariate Testing, ou Teste de Multivariáveis, que pode nos ajudar!

Neste artigo vamos conversar sobre:

  • O que é Multivariate Testing e quando utilizá-lo;
  • Como funciona sua aplicação;
  • Qual a diferença entre Multivariate Testing e Teste A/B.

Vamos lá?

O que é Multivariate Testing?

Multivariate Testing, ou Teste de Multivariáveis, é um método de pesquisa que se baseia em testar mais de uma mudança feita ao mesmo tempo em uma página ou produto. Isso significa que o produto a ser testado teve mais de um elemento alterado. Esse teste possibilita a comparação entre a versão original e as alterações para saber qual combinação de elementos está funcionando melhor.

Para facilitar o entendimento, vamos tomar a seguinte situação como exemplo prático: uma empresa mudou o texto de um botão e aumentou o tamanho de uma imagem na página do seu site. Como houve duas alterações acontecendo ao mesmo tempo, ela pode utilizar o Multivariate Testing para testar as variações e ver qual está funcionando melhor. As possíveis combinações a serem estudadas são:

Botão antigo + Imagem pequena na página (Versão original)

Imagem mostrando a primeira versão a ser testada com uma imagem em tamanho pequeno de um avião que está ocupando todo o canto direito e parte do canto esquerdo, e com um botão ocupando uma parte do campo esquerdo com a descrição “Conheça os pacotes!”.

Botão novo + Imagem grande na página

Imagem mostrando a segunda versão a ser testada com uma imagem em tamanho grande de um avião que está ocupando toda a largura da página, e com um botão ocupando uma parte do campo esquerdo, sobre a imagem de fundo, com a descrição “Venha conferir as promoções!”.

Botão antigo + Imagem grande na página

Imagem mostrando a terceira versão a ser testada com uma imagem em tamanho grande de um avião que está ocupando toda a largura da página, e com um botão ocupando uma parte do campo esquerdo, sobre a imagem de fundo, com a descrição “Conheça os pacotes!”.

Botão novo + Imagem pequena na página

Imagem mostrando a quarta versão a ser testada com uma imagem em tamanho pequeno de um avião que está ocupando todo o canto direito e parte do canto esquerdo, e com um botão ocupando uma parte do campo esquerdo com a descrição “Venha conferir as promoções!”.

Com isso, juntamos todas as versões possíveis e estudamos o que está funcionando bem e o que não está. Esse processo é de extrema importância para verificarmos se as nossas mudanças de fato estão gerando grandes impactos nos resultados finais e quais elementos estão sendo mais efetivos para alcançar as metas de desempenho do site estabelecidas pela empresa.

Banner da Escola de UX e Design: Matricula-se na escola de UX e Design. Junte-se a uma comunidade de mais de 500 mil estudantes. Na Alura você tem acesso a todos os cursos em uma única assinatura; tem novos lançamentos a cada semana; desafios práticos. Clique e saiba mais!

Quando utilizar Multivariate Testing?

Imagem mostrando o desenho feito a mão de 05 telas com os elementos em posições diferentes.

Caso houver mais de uma mudança na página, o que consequentemente resulta em mais de duas versões a serem estudadas, e você precisar testar qual combinação funciona melhor para atingir os objetivos da empresa, o Multivariate Testing pode ser uma ótima solução!

Não podemos apenas aplicar alterações em uma plataforma sem antes ter a certeza de que essa ação trará resultados positivos, pois uma mudança tem o potencial de alavancar uma empresa ou de gerar perdas.

Para evitar grandes riscos, o Multivariate Testing nos ajuda a analisar os pontos altos e baixos das mudanças sugeridas. Isso resulta em uma maior segurança no que estamos fazendo, porque, com esse processo, as decisões não são baseadas em "achismos'' e sim em dados concretos vindos diretamente das pessoas usuárias.

Como funciona a aplicação do Multivariate Testing?

Imagem mostrando uma mulher de cabelos ruivos e pele branca fazendo anotações com um canetão em uma lousa.

A aplicação do teste pode ser feita de duas formas: utilizando o próprio tráfego do site, ou convidando as pessoas usuárias e pedindo a elas que façam alguma tarefa no protótipo da página.

Quando utilizamos o próprio público frequente do site, as versões das páginas a serem testadas ficam disponíveis e programamos o código da plataforma para que as pessoas, ao acessarem o link para entrar no site, sejam automaticamente direcionadas para uma dessas variações.

É como se dividíssemos as pessoas que entram no site em grupos e cada um tivesse contato com apenas uma versão. Deixamos isso acontecer por um período de tempo, ao final analisamos os resultados captados com o objetivo de observar o comportamento de cada público dentro das versões, e de utilizar as métricas (dados que nos indicam algo) para definir qual versão funciona melhor. Esse processo é bastante comum em situações em que o site já existe e possui um grande fluxo de pessoas passando por ele.

Uma curiosidade bem interessante é que, em casos quando utilizamos o próprio tráfego do site, as pessoas fazem parte da pesquisa sem nem mesmo saber que um Multivariate Testing está sendo aplicado! Essa é uma prática super comum no mercado, feita até mesmo por alguns aplicativos bem populares de streaming.

Nos casos em que convidamos as pessoas usuárias, o processo é semelhante, porém, antes de tudo, temos que dar instruções bem claras e pedir alguma tarefa que incentivará que a pessoa utilize a interface.

Qual a diferença entre Multivariate Testing e Teste A/B?

Imagem de uma estátua sentada com a cabeça apoiada na mão, como se estivesse pensando, e com dois balões de conversa logo ao lado com as frases “Teste A/B…” e “...Ou Multivariate Testing?”.

O Multivariate Testing e o Teste A/B são métodos de pesquisa muito parecidos, mas cada um tem uma finalidade. Ambos tem como objetivo testar as mudanças feitas em um produto, como sites e aplicativos, e observar por meio de dados e métricas se estão atingindo os objetivos traçados pela empresa com essas alterações.

A maior diferença entre esses métodos está na quantidade de versões testadas: o Teste A/B é um método para comparar apenas duas versões de um mesmo produto, geralmente temos essa quantidade de itens em situações quando apenas um único elemento foi alterado. O Multivariate Testing é usado em casos em que há mais de uma alteração, o que automaticamente gera uma quantidade maior do que duas versões do mesmo produto e é preciso testá-las juntas para entender qual funciona melhor.

No Teste A/B temos duas versões de um mesmo produto, e no Multivariate Testing temos mais de duas versões a serem estudadas.

Reflexão e dica sobre o Multivariate Testing

Apesar de ser um método muito eficiente para testar as versões de um mesmo produto, temos que considerar que quanto mais combinações a serem estudadas, maior é a necessidade de ter um grupo grande de pessoas participando da pesquisa.

Quando aplicamos o Teste A/B dividimos as pessoas em 02 grupos de números iguais. Ou seja, se há 100 pessoas participando, serão 02 divisões de 50 integrantes cada. Porém, no caso do Multivariate Testing, o número de grupos dependerá da quantidade de combinações a serem testadas. Considerando o mesmo grupo de 100 pessoas e supondo que há 04 versões para teste, teríamos 04 grupos de 25 pessoas cada. Bem menos do que no Teste A/B.

Ilustração comparando a divisão de grupos que aconteceria no Teste A/B e como seria a separação da mesma quantidade de pessoas no Multivariate Testing.

Por isso que, ao escolher o Multivariate Testing, assegure-se de que haverão pessoas participantes suficientes para montar grupos grandes e obter dados concretos em relação a cada combinação.

Revisando

Imagem mostrando um cachorrinho de tamanho pequeno, com pelagem alta, e da cor branca e marrom, usando óculos, e sentado de frente para um tablet.

Neste artigo, conversamos sobre:

  • O Multivariate Testing, ou Teste de Multivariáveis, é um método de pesquisa que se baseia em testar mais de uma mudança feita ao mesmo tempo em uma página. Isso possibilita a comparação entre a versão original e as alterações para saber qual combinação de elementos está funcionando melhor.
  • Pode ser utilizado caso houver mais de uma mudança na página e você precisar testar qual versão funciona melhor para atingir os objetivos da empresa.
  • A aplicação do Multivariate Testing pode ser feita de duas formas: utilizando o próprio tráfego do site ou convidando as pessoas usuárias e pedindo que façam alguma tarefa no protótipo da página, sendo a primeira forma a mais utilizada hoje em dia.
  • O Multivariate Testing e o Teste A/B são métodos de pesquisa muito parecidos, mas cada um possui uma finalidade.
  • Ao escolher o Multivariate Testing, assegure-se de que haverão pessoas participantes suficientes para montar grupos grandes e obter dados concretos em relação a cada combinação.

Curtiu a nossa conversa? Aqui na Alura temos diversos conteúdos para você mergulhar no mundo da UX Design e da UX Research! Que tal dar uma espiada em alguns desses cursos, Alura+ e artigos? Vou deixar aqui algumas sugestões:

Além de tudo isso, temos conteúdos abertos para a comunidade como os artigos aqui do blog, os vídeos disponíveis no canal no Youtube e os episódios do nosso podcast focado em design Layer Ponto Tech.

Até mais!!


Créditos

Conteúdo e escrita: Gabriela de Lima

Revisão Didática e Técnica: Ana Raquel Cruz e Luiz Lima

Gabriela de Lima
Gabriela de Lima

Sou formada em Design Gráfico, e trabalho com UX Writing e UX/UI Design, além das próprias artes gráficas que aprendi na minha formação acadêmica. É um alegria dizer que, hoje em dia, posso compartilhar meu conhecimento com todos vocês através de aulas, artigos e papos. Sempre bom poder contribuir com a carreira profissional de cada futuro designer!

Veja outros artigos sobre UX & Design