Como criar um dashboard com Amzon: use QuickSight e Redshift

Você já conhece o Amazon Redshift e quer transformar seus dados em insights visuais e interativos?

Então, chegou a hora de te indicar o Amazon QuickSight, a ferramenta de Business Intelligence da AWS que se integra perfeitamente ao Redshift.

Neste artigo, você vai aprender um passo a passo sobre como criar dashboards profissionais dentro do ambiente da AWS, e com um detalhe especial: sem precisar de código.

Vem que te mostro como fazer isso!

Conhecendo o QuickSight

O Amazon QuickSight é uma ferramenta self-service de Business Intelligence da AWS que permite criar dashboards e visualizações a partir de dados.

Com o QuickSight, você pode:

• Conectar-se diretamente ao Redshift para acessar seus dados.
• Criar gráficos, tabelas e mapas de forma rápida e intuitiva.
• Adicionar filtros e parâmetros para explorar os dados de forma dinâmica.
• Compartilhar dashboards com sua equipe ou exportá-los em diversos formatos.
• Usufruir com mais facilidade de conexões com outros serviços da AWS.

A partir de agora, vamos criar uma conta no QuickSight e conectar com um cluster Redshift para, então, criar um dashboard! Aproveite e me acompanhe utilizando seus próprios dados e criando visualizações que façam sentido para o seu caso.

Para acompanhar esse passo a passo, é esperado que você já possua:

• Uma conta na AWS;
• Um usuário com uma role associada ao QuickSight e com as permissões AmazonRedshiftReadOnlyAccess e AmazonS3ReadOnlyAccess;
• Um cluster do Redshift com dados já inseridos.

Como criar uma conta no QuickSight

Na página de apresentação do QuickSight, clique em “Comece a usar com um teste gratuito”.

Então, faça seu cadastro.

• Escolha a edição Standard (é gratuita e suficiente para começar).
• Selecione a região da AWS onde seu cluster Redshift está hospedado.
• Marque as opções para permitir que o QuickSight acesse o Redshift e outros serviços da AWS.

Prontinho! Temos uma conta criada. Agora, vamos configurar o cluster do Redshift para permitir que ele seja acessado pelo QuickSight.

Como configurar seu cluster do Redshift

No console do Redshift, vá até seu cluster. Na seção de configurações de rede e segurança, verifique se o cluster está publicamente acessível.

Se não estiver definido como turned on, clique em editar e altere essa configuração.

Atenção! Manter o cluster público pode gerar custos. Verifique com a administração da sua conta sobre esse procedimento.

Agora, vamos verificar a política dos security groups. Na mesma seção, verifique o ID do “Grupo de segurança da VPC”.

Com o ID em mãos, navegue até a aba de grupos de segurança no console EC2. Basta procurar por “Security Groups” na barra de pesquisa. Então, localize o ID relativo ao seu cluster.

Nas regras de entrada, é necessário que exista uma permitindo o acesso à porta 5439, que é a porta padrão do Redshift. A regra deve ser algo assim:

• Tipo: Custom TCP
• Protocolo: TCP
• Intervalo de portas: 5439
• Source: Um IP específico ou 0.0.0.0/0 (para permitir acesso de qualquer lugar).

Atenção!. Você pode testar a conexão com o IP 0.0.0.0/0 e depois alterar para o IP específico do QuickSight da sua região. Em produção, sempre utilize um IP específico.

Se essa regra de entrada não existir, adicione.

Agora, localize o Endpoint do Redshift no seu cluster. Ele será algo como: quicksight-demo.ctqduk16d8pa.us-east-1.redshift.amazonaws.com.

Tenha também suas credenciais prontas - você precisará do nome de usuário e senha que usa para acessar o Redshift.

Como fazer a conexão de dados

Estamos prontos para fazer a conexão do QuickSight com o Redshift!

No menu lateral do QuickSight, procure por “Conjunto de dados” e então “Novo conjunto de dados”

Nessa tela, temos diversas opções de conexão. Entre elas, duas são do Redshift

• A opção “Descoberto automaticamente” vai listar os clusters que seu usuário tem acesso.
• A opção “Conexão manual” vai pedir o Endpoint e a base de dados do seu cluster.

Agora, basta preencher os detalhes da conexão:

• Nome da fonte de dados: Dê um nome fácil de lembrar e que faça sentido com seus dados.
• Servidor de banco de dados: Insira o endpoint do seu cluster Redshift ou selecione o nome na lista suspensa.
• Porta: 5439 (a porta padrão do Redshift).
• Nome do banco de dados: Insira o nome do banco de dados que você usa (ex: dev).
• Nome do usuário e senha: Insira as credenciais do Redshift.

Teste a conexão e, se der tudo certo, crie a conexão!

Se não der certo, pode ter alguma inconsistência nas etapas de configuração anteriores.

Nesse momento, você já pode selecionar as tabelas do Redshift que usará nas suas visualizações ou escrever um comando SQL para selecionar dados mais específicos.

O QuickSight oferecerá guardar os dados no “SPICE” - esse serviço tem um custo a mais, mas os primeiros 10GB são gratuitos todo mês.

O SPICE é o mecanismo de memória utilizado pelo QuickSight para análises robustas e velozes. Para ler mais sobre, confira a documentação.

A partir de agora, você pode pausar o seu cluster do Redshift se preferir.

Como criar um dashboard com AWS

A base de dados que estou utilizando como exemplo é bastante simples: trata-se de uma única tabela de vendas, com os seguintes campos:

• date (data): A data em que a venda foi realizada (no formato YYYY-MM-DD).
• region (região): A região onde a venda foi feita (Norte, Sul, Nordeste, Sudeste, Centro-Oeste).
• product (produto): O produto vendido (Smartphone, Notebook, Fone Bluetooth, Tablet, Smartwatch).
• sales (vendas): O valor monetário da venda (em reais).
• customer_id (ID do cliente): Um identificador único para o cliente que realizou a compra (ex: user_001).

Essa única tabela já me traz inúmeras possibilidades de visualização!

Antes de começarmos, pense em qual mensagem você precisa passar com seu dashboard. Qual história será contada com esses visuais? O que é mais relevante para compartilhar?

Para que sua análise transmita a mensagem que você quer transmitir, um bom storytelling é essencial.

Vamos começar a criar as visualizações?

Estamos em um espaço chamado “Análise”. Aqui, é possível explorar os dados, criar visualizações em diversas páginas e criar campos calculados.

No painel à esquerda, você verá os campos das suas tabelas (ex: date, region, sales). Arraste e solte esses campos nos campos de elementos visuais após ter escolhido o tipo de visualização.

Experimente diferentes tipos de gráficos, como barras para comparar categorias, linhas para verificar o comportamento de uma variável ao longo do tempo ou dispersão para analisar a correlação entre duas variáveis.

Dicas de como escolher o tipo de visualização de dados para sua análise

Por exemplo, para ver o total de vendas por região, escolhi um gráfico de barras, arrastei region para o eixo Y e sales para o campo “Valor”.

As vendas foram automaticamente agregadas em soma, que é exatamente o que eu queria para essa visualização: quero saber o total de vendas em cada uma das regiões. Porém, é possível escolher entre outras formas de agregação como média, mediana, mínimo e máximo, entre outros.

Antes de prosseguir, quero deixar o gráfico mais “apresentável”. Ao clicar duas vezes sob o título que foi gerado automaticamente, uma janela de formatação abre.

É possível alterar a fonte, a cor etc. O mesmo pode ser feito com os nomes no eixo X e Y.

Já para mudar a cor das barras, cliquei em cima de uma barra e escolhi entre a gama de cores apresentadas.

Esse gráfico de barras comunica rapidamente a proporção de vendas entre as regiões do país.

Outra informação importante é o valor total de vendas, em todas as regiões. Digamos que há uma meta de vendas de 30 mil reais, e precisamos saber o quão distantes estamos dessa meta.

Para resolver esse problema, é possível utilizar um visual “medidor”, que compara a quantidade de uma variável com outra ou com um valor pré-estabelecido.

Antes de criar o visual em si, é preciso guardar o valor da meta, os 30 mil reais, em algum lugar. Para isso vamos utilizar um campo calculado.

Clique em “+ campo calculado” na seção de dados, do lado esquerdo da tela. Nessa nova tela, existe uma lista de funções que podem ser utilizadas para criar o campo.

Você pode investigar todas as funções disponíveis através da documentação.

No meu caso, quero apenas um número fixo. Para isso, utilizo a função abs que indica um número inteiro absoluto e, entre os parênteses, digito “30000”. Dou o nome de “Meta” e está pronto.

Voltando à análise, vou escolher o visual “Medidor” e arrastar “sales” para “Valor” e a medida calculada “Meta” que acabamos de criar para “Valor de destino”.

Aqui, pode ser que a “Meta” seja lida apenas como um número inteiro, e não como um valor monetário. Para ajustar, basta clicar nos três pontinhos ao lado do campo, na seção de visual, e escolher “visualizar como moeda”.

Agora basta poucos segundos para que as partes interessadas saibam do andamento da meta de vendas.

Para complementar essa análise, podemos criar um gráfico de linhas com as vendas ao longo do tempo.

Para isso, seleciono o visual. Para o eixo X arrasto “date” e para valor “sales” e, a partir daqui, não tem muito segredo! Basta explorar as configurações do gráfico assim como fizemos nos anteriores e adaptar ao seu gosto.

Porém, tem um segredinho que vale a pena compartilhar: o visual de gráfico de linhas, quando lida com séries temporais, disponibiliza uma previsão de como seus dados podem se comportar no futuro, baseado em uma reta de regressão.

Essa análise é bastante útil para planejar ações para o próximo período de tempo. Para ativar a previsão, basta clicar nos três pontinhos no canto superior direito do visual e clicar em “Adicionar previsão”.

Veja só como ficou.

Aproveite para explorar todas as opções do menu dos visuais e descobrir outras formas de personalizar sua apresentação.

Por esse menu é possível formatar o gráfico, aplicar filtros, visualizar os dados que estão alimentando o visual e até exportar para CSV.

Eu, inclusive, vou clicar em “Duplicar” em cada um dos gráficos e copiá-los para uma nova página para então organizá-los em um dashboard.

Em poucos minutos e com apenas uma tabela, criei visualizações que passam uma mensagem.

Observando o dashboard, é possível entender que a meta está muito perto de ser cumprida e que a maioria das vendas foi feita na região Norte (para bater logo a meta, pode-se focar nessa região, mas à longo prazo é interessante investigar e fortalecer a filial Sudeste).

As vendas por dia mostram oscilações que parecem constantes, mas também podem indicar alguma lacuna de negócio.

Imagina tudo que você pode fazer!

Como publicar um dashboard

Agora é o momento de seu trabalho ser compartilhado. Quando estiver satisfeita(o) com o dashboard, busque o botão “Publicar” no canto superior direito da página.

Na tela que abrir, escolha um nome para seu dashboard, escolha quais páginas serão compartilhadas e verifique as permissões de publicação. Quando estiver tudo certo, publique!

A nova tela já é o dashboard publicado. Clicando em “Compartilhar” você gerencia o acesso de outros usuários ao seu painel e pode obter o link para convidar quem você quiser.

Conclusão

Experimente bastante. Não tenha medo de explorar e testar diferentes visualizações para contar a melhor história sobre seus dados.

O que vimos nesse artigo é só uma amostrinha do enorme potencial do QuickSight. Se você se interessou e vê aplicação prática do QuickSight no seu dia a dia, se prepare: estamos preparando uma formação inteira sobre essa ferramenta incrível, percorrendo diversas funcionalidades que não caberiam nesse texto.

Grande abraço e até a próxima!