Análise de dados com Python: utilizando o ChatGPT como assistente

Acesso aos dados - Apresentação

Já pensou em utilizar Inteligências Artificiais para te oferecer suporte com guias, ideias e até mesmo códigos para te auxiliar no início da sua jornada profissional e estudantil com dados?

É exatamente isso que faremos no curso de Análise de Dados com Python utilizando o ChatGPT como assistente.

Sou a Mirla Costa, instrutora da Alura e te acompanharei nesse curso!

Mirla é uma mulher de pele clara e cabelos pretos cacheados na altura do ombro. Usa óculos de grau com armação redonda, piercing no septo e aparelho dental. Está com uma camiseta azul-escura. Ao fundo, uma parede lisa com duas prateleiras com livros e objetos, a iluminação é degradê do azul para o rosa.

Nesse curso, somos cientistas de dados júnior recém contratados em uma grande franquia de supermercados.

Porém, chegamos na empresa em uma fase na qual está sendo conduzida a avaliação trimestral de desempenho das lojas. Portanto, contribuiremos para essa avaliação trimestral, realizando a análise de vendas das franquias.

Para o desenvolvimento do projeto, utilizaremos prompts que já foram criadas e testadas no ChatGPT, a Inteligência Artificial que usaremos nessa jornada. Esse material está disponível no notebook para que você pode fazer download e testar.

Lembrando que mesmo que você utilize a mesma prompt, provavelmente os retornos não serão iguais. Isso porque o ChatGPT trabalha com aleatoriedade nas respostas.

Mas, não se preocupe. Neste curso também aprenderemos a criar prompts úteis e a criticar os resultados obtidos pelo ChatGPT.

Para que você possa tirar o máximo proveito deste curso, recomendamos que você tenha conhecimento em Python, Pandas e Matplotlib.

Vamos começar?

Acesso aos dados - Coletando os dados

Fomos contratados como cientistas de dados júnior na ZOOP, um grande supermercado com franquias em todo o país e reconhecido por vender produtos de alta qualidade.

Estamos na primeira semana de trabalho e toda a equipe de dados está muito focada em uma demanda referente à avaliação trimestral da ZOOP, pois a empresa está finalizando o seu trimestre de operação.

Para auxiliar nas análises, a liderança nos forneceu um dataset que contém informações sobre o total obtido em vendas nos últimos três meses. A partir disso, poderemos fazer uma avaliação e também ajudar nesta demanda.

O objetivo é que realizemos:

• Exploração;
• Limpeza;
• Tratamento de dados;
• Criação de visualização.

Tudo isso de forma com que possamos contribuir com toda a equipe na parte de análise das vendas obtidas durante o trimestre.

Porém, temos um desafio. Como estamos na primeira semana de empresa, ainda nos sentimos um pouco inseguros com as decisões que tomaremos em relação a esses dados.

Sabendo disso, a liderança informou que poderíamos contar com a ajuda do ChatGPT para auxiliar na tomada de decisões, já que ela estará ocupada com as demandas relacionadas a esta avaliação trimestral.

Seguiremos esse direcionamento e utilizaremos um link do GitHub, enviado pela liderança, para termos acesso a esses dados. Vamos analisá-lo.

Ao abrir o arquivo, notamos que ps dados estão estruturados em listas e dicionários, uma característica muito específica de arquivos do tipo JSON. No entanto, para este tipo de estrutura, é muito difícil fazer uma análise. Precisamos acessar esses dados de uma forma mais tabular.

Para isso, precisaremos utilizar algumas ferramentas de programação, usaremos a linguagem Python . Para acessar estes dados, contaremos com a ajuda do ChatGPT que pode nos fornecer uma solução para a leitura deste arquivo em JSON.

Agora, analisaremos nosso notebook. Ele já está personalizado e o usaremos durante todo o projeto. Ao acessá-lo, encontramos uma URL que nos da acesso aos dados JSON, além de prompts que já foram testados no ChatGPT e retornam as melhores respostas.

Leitura de dados JSON e visualização tabular

Testaremos o primeiro prompt para checarmos se o ChatGPT consegue nos auxiliar a acessar esses dados em JSON. O prompt diz:

Vamos atuar como cientistas de dados em uma empresa de supermercados. Recebemos dados no formato de arquivo JSON, estruturados em listas e dicionários. O arquivo está disponibilizado em uma URL do Github. Precisamos analisar esses dados para ajudar nas decisões da empresa. Programamos em Python e conhecemos as bibliotecas de análise de dados Numpy e Pandas. Portanto, priorize o uso dessas bibliotecas. Por favor, nos informe como podemos fazer a leitura desses dados no formato JSON e como podemos visualizá-los em formato de tabela no Python.

Perceba que tentamos fornecer o máximo de detalhes e informações objetivas para que o ChatGPT ajude a solucionar nosso problema.

Copiamos esse prompt. No navegador, acessamos o ChatGPT e fazemos o login. Em seguida, colamos o texto no chat e apertamos "Enter".

Temos o seguinte retorno:

Para ler dados no formato JSON e visualizá-los em formato de tabela no Python, você pode seguir os passos a seguir:

1. Instale as bibliotecas (caso ainda não estejam instaladas): Você pode instalar as bibliotecas NumPy e Pandas usando o pip:

bash

pip install numpy pandas

2. Importe as bibliotecas: Importe as bibliotecas NumPy e Pandas em seu script Python:

python

import numpy as np
import pandas as pd

//Retorno omitido

Primeiro o ChatGPT informa que é possível acessar dados em JSON e que a primeira etapa que podemos fazer é a instalação de bibliotecas. Como estamos utilizando o Google Colab, essa etapa pode ser omitida, pois as bibliotecas no PyPandas já estão instaladas.

Sendo assim, vamos para a segunda etapa, que é importar essas bibliotecas. Importemos o numpy e o pandas como as ps. Para isso, copiamos o código gerado pelo Chat, voltamos para o notebook e colamos na primeira célula. Em seguida, apertamos "Shift + Enter" para executar.

import numpy as np
import pandas as pd

Feito isso, vamos voltar para o nosso notebook, fazer a seleção do código, pressione Ctrl + V na primeira célula e pressione Shift + Enter para executar.

Segundo o ChatGPT, o próximo passo é ler os dados JSON. Então, ele sugere um código com uma URL, que não usaremos, que é armazenado em uma variável chamada df os dados que foram obtidos em JSON utilizando o pd.read_json(url).

Copiamos esse código e colamos na próxima célula do Colab. Feito isso, excluímos a linha com a URL, pois já temos a URL com nossos dados no início do notebook, que inclusive possui o mesmo nome da variável. O código fica da seguinte forma:

df = pd.read_json(url)

Em seguida, o ChatGPT sugere a visualização dos dados em formato de tabela, utilizando print(df.head()). Copiamos esse código e colamos na mesma célula anterior. Para executar, apertamos "Shift + Enter".

df = pd.read_json(url)
print(df.head())

Como retorno temos uma visualização não muito interessante dos nossos dados. Para visualizarmos de forma tabular, basta removermos o comando print e também os parênteses ao redor dele. Dessa forma:

df = pd.read_json(url)
df.head()

Ao executar essa célula, temos o retorno abaixo:

Agora, conseguimos ter uma visualização tabular dos dados sem a estrutura de JSON.

No próximo vídeo, analisaremos os dados para verificar o tipo de informação.

Até lá!

Acesso aos dados - Normalizando o DataFrame

Vamos verificar os dados que acessamos na tabela. Temos duas colunas iniciais chamadas item_identificador e loja_identificador.

Nelas constam códigos de identificação, portanto na coluna a item_identificador se refere ao produto vendido e a loja_identificador à loja que vendeu o produto.

Em seguida, temos a coluna vendas_totais, que mostra o total obtido em vendas durante o trimestre para o produto e loja específica.

Após, temos duas colunas um pouco intrigantes, que são item e loja. Cada uma se refere a um conjunto de informações. A coluna item refere-se aos produtos vendidos e a coluna loja às informações da loja que vendeu o produto durante o trimestre.

Usando o json_normalize

Mas temos um problema, esses dados estão aninhados em dicionários. Nessa organização de dados, fica difícil estudá-los. É interessante destrincharmos esses dicionários para conseguir acessar as informações. Mas, como faremos isso? Usaremos o ChatGPT para nos auxiliar.

Usaremos o seguinte prompt:

O DataFrame "df" possui as colunas "item_identificador", "loja_identificador", "vendas_totais", "item" e "loja". As colunas "item" e "loja" contêm dicionários aninhados dentro de cada uma das linhas. Como posso transformar os dados dos dicionários e colunas para torná-los mais acessíveis no meu DataFrame?

Copiamos o prompt, colamos no ChatGPT seguido de "Enter".

Como retorno, a IA sugere que utilizemos a função json_normalize da biblioteca Pandas, que permite acessar os valores do dicionário que estão juntos e colocá-los em colunas separadas dentro do DataFrame. A IA sugere um código, portanto, copiamos e colamos no Colab.

Com esse código, será importado a função json_normalize do Pandas. Depois, ele armazena o DataFrame normalizado em outros DataFrames. Portanto, cria o df_item_normalized, que recebe os dados normalizados de df['item']. Além disso, cria um novo DataFrame, df_loja_normalized, que armazena os dados normalizados de df['loja'].

Em seguida, ele concatena esses novos dados ao nosso DataFrame original e exclui as colunas antigas de item e loja. Antes de rodarmos o código, adicionaremos na última linha um df para visualizarmos o produto final dessa transformação.

# Importe a função json_normalize
from pandas import json_normalize

# Normalize os dados da coluna "item"
df_item_normalized = json_normalize(df['item'])

# Normalize os dados da coluna "loja"
df_loja_normalized = json_normalize(df['loja'])

# Combine os DataFrames normalizados com o DataFrame original
df = pd.concat([df, df_item_normalized, df_loja_normalized], axis=1)

# Exclua as colunas originais de "item" e "loja" se necessário
df.drop(['item', 'loja'], axis=1, inplace=True)
df

Após apertar "Shift + Enter" temos o retorno abaixo:

Repare na quantidade de dados que estavam escondidos dentro daqueles dicionários. Agora, o DataFrame se expandiu bastante e isso abrirá novas oportunidades de estudo e análise de dados.

Agora que temos acesso aos dados, o próximo passo é a exploração.

Faremos isso na próxima aula. Até lá!

Sobre o curso Análise de dados com Python: utilizando o ChatGPT como assistente

O curso Análise de dados com Python: utilizando o ChatGPT como assistente possui 78 minutos de vídeos, em um total de 39 atividades. Gostou? Conheça nossos outros cursos de IA para Dados em Inteligência Artificial, ou leia nossos artigos de Inteligência Artificial.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Acesso aos dados
• Exploração dos dados
• Limpeza e tratamento
• Visualização dos dados