Pandas: transformação e manipulação de dados

Entendendo o problema - Apresentação

Olá! Boas-vindas a este curso de Pandas. Meu nome é Mirla Borges e sou instrutora da Alura.

Autodescrição: Mirla é uma mulher branca, de cabelos cacheados, pretos, na altura do ombro. Tem o rosto fino e alongado, olhos e sobrancelhas pretas. Nos olhos, um óculos de grau com armação redonda. No corpo, uma camiseta preta. Ao fundo, há uma parede lisa com iluminação verde.

Este curso é destinado a pessoas que querem entender as ferramentas do Pandas para o tratamento e manipulação de diversos tipos de dados.

Nele, vamos trabalhar com um projeto focado em precificação inteligente no âmbito de hospedagem de imóveis. Para isso, teremos uma variedade de dados que buscaremos entender.

Trataremos e manipularemos dados que interferem no produto final:

• Dados numéricos
• Dados textuais
• Dados de tempo

Faremos tudo isso utilizando o Google Colab.

Com este curso, seremos capazes de:

• Trabalhar com diversos tipos de dados
• Nos aprofundar no tratamento e limpeza de dados

Para que haja maior aproveitamento deste curso, recomendamos um conhecimento prévio dos elementos abaixo:

• Pandas
• Leitura de arquivos JSON
• Seleção e agrupamento de dados

Vamos lá!

Entendendo o problema - Conhecendo o problema

A área de dados possui muitas aplicações, em diversos tipos de negócio — entre eles, o turismo.

Como exemplo, podemos aplicá-la na precificação do aluguel de imóveis a curto prazo.

Neste curso, faremos uma preparação de dados. Isso significa que não faremos uma análise deles, mas sim a sua transformação e manipulação, para que atinjam um objetivo — neste caso, a solução do nosso problema.

Nossa aplicação visa realizar um estudo dos nossos dados, com o objetivo de criar uma solução com precificação inteligente.

Precificação Inteligente

Trata-se de um algoritmo capaz de analisar as características de um imóvel — como comodidade, tamanho, ocupação do espaço em determinado período — e sugerir à pessoa anfitriã um preço a ser cobrado por diárias que garanta o lucro em momentos de alta demanda.

O problema está na estrutura dos nossos dados. Vamos conhecê-los e analisá-los.

Conhecendo os dados

Para conhecer os nossos dados, utilizaremos o Google Colab. Ele deve estar vazio e conectado.

Vamos retirar as opções da barra de ferramentas superior, acessando-a e clicando no botão "Alternar a visibilidade do cabeçalho", no canto superior direito.

Vamos importar os dados. Para isso, acessaremos a barra de ferramentas lateral, à esquerda da tela, onde clicaremos no botão "Arquivos".

Com isso, será aberta uma barra secundária à direita, onde veremos o conteúdo da pasta "Arquivos".

Nela, clicaremos no botão "Fazer upload para o armazenamento da sessão" que abrirá uma janela com o explorador do nosso computador. Neste, por sua vez, buscaremos as bases de dados abaixo, que já deverão ter sido baixadas.

• dados_hospedagem.json
• moveis_disponiveis.json

Observação: O link para download das bases de dados estão disponíveis nas atividades desta aula.

Clicaremos no arquivo dados_hospedagem.json e no botão "Abrir". Com isso, realizaremos o upload dos primeiros dados a serem trabalhados em nosso Notebook do Google Colab.

Vamos esperar o arquivo ser carregado. Quando este processo terminar, veremos na barra secundária lateral o nome do nosso arquivo.

Para conhecer os dados, utilizaremos a biblioteca Pandas. Para isso, na primeira linha de código, adicionaremos o import pandas.

Além disso, incluiremos o comando as pd para podermos utilizar o pd quando chamarmos esta biblioteca. Por fim, pressionaremos "Shift+Enter", o que descerá o cursor para a linha 2.

Vamos ler o arquivo que importamos. Para isso, precisaremos do método read_json(), já que nosso arquivo é do tipo JSON.

Na linha atual, atribuiremos um novo dataframe, chamado dados. Ele receberá os dados de hospedagem por meio do pd.read_json().

dados = pd.read_json()

Entre os parênteses do método, adicionaremos o caminho até o arquivo que importamos. Para coletá-lo, voltaremos à barra secundária à direita, onde o buscaremos e clicaremos no botão à sua direita, que possui um ícone de três pontos.

Será aberta uma lista suspensa, onde selecionaremos a opção "copiar caminho". Com isso, teremos o caminho do arquivo vinculado à nossa área de transferência.

Voltando à linha 2, entre os parênteses do read_json(), abriremos e fecharemos aspas simples, para criar uma string. Entre elas, pressionaremos "Ctrl+V", o que colará todo o caminho para a leitura do arquivo JSON.

dados = pd.read_json('/content/dados_hospedagem.json')

Pressionaremos "Ctrl+Enter" para descer de linha e rodaremos o dados.head() para conseguir visualizar as primeiras cinco linhas do nosso arquivo.

dados = pd.read_json('/content/dados_hospedagem.json')
dados.head()

Pressionaremos "Shift+Enter" e veremos o resultado abaixo:

Temos uma visualização de como é o nosso arquivo, na qual percebemos que os dados estão aninhados em formato de dicionário. Isso dificulta o entendimento.

Por exemplo, observaremos que a linha 0 é um dicionário que possui a chave avaliacao_geral, o valor 10.0 e outra chave com o nome exibido parcialmente (experiencia_local...).

No próximo vídeo, precisamos desaninhar os dados para conseguir observar melhor os valores e os resultados que temos neste dataframe.

Entendendo o problema - Compreendendo os dados

Continuaremos a leitura e o desbravamento dos nossos dados.

Anteriormente, descobrimos que eles estão aninhados em dicionários. Para estudá-los e identificar onde podemos prepará-los, tratá-los e transformá-los, precisamos que estejam destrinchados.

Vamos fechar a aba secundária "Arquivos", à direita, para termos uma visualização ampla do nosso código.

Na primeira célula disponível abaixo do último retorno, utilizaremos o método json_normalize() que fará exatamente o que precisamos: a normalização desses dados — neste caso, da coluna info_moveis.

Reatribuiremos os dados do dataframe para que o novo dataframe seja normalizado. Para isso, rodaremos o comando dados = pd.json_normalize(). Dentro dos parênteses, adicionaremos como parâmetro um dados, junto a um bloco de colchetes. Este receberá em seu interior, entre aspas simples, a coluna a ser normalizada: info_moveis.

No final desta linha, fora do json_normalize(), pressionaremos "Enter" para descer de linha. Nesta, pediremos uma observação dos nossos dados normalizados, digitando dados.

dados = pd.json_normalize(dados['info_moveis'])
dados

Pressionando "Shift+Enter", veremos um retorno de 70 linhas, dentre as quais exibimos abaixo algumas linhas como exemplo:

Nele, vemos dados numéricos, de texto e também listas com os dois tipos.

Para realizar o tratamento focado em cada tipo de dado, precisaremos realizar um desagrupamento, removendo-os das listas. Faremos isso a seguir.

Sobre o curso Pandas: transformação e manipulação de dados

O curso Pandas: transformação e manipulação de dados possui 86 minutos de vídeos, em um total de 39 atividades. Gostou? Conheça nossos outros cursos de Data Science em Data Science, ou leia nossos artigos de Data Science.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Entendendo o problema
• Dados numéricos
• Dados textuais
• Dados de tempo