O que você aprenderá_
- Aprenda como utilizar o Python para criar aplicações Spark
- Descubra como fazer ciência de dados com as ferramentas do Spark
- Conheça o DataFrame do Spark
- Manipule conjuntos de dados volumosos
- Conheça e crie arquivos utilizados em projetos Big Data
Público alvo_
Cientistas de dados e entusiastas em dados com um conhecimento intermediário na linguagem Python e básico em instruções SQL.
Rodrigo Fernando Dias
Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.
Curso atualizado em 06/09/2023
Já estuda na Alura?
Comece o curso agoraEmenta
Começando o Trabalho
- Apresentação
- Apache Spark - Introdução
- Utilizando Spark no Windows
- Spark no Google Colab
Carregamento de Dados
- SparkSession
- DataFrames com Spark
- Carregamento de dados
Manipulando os Dados
- Operações básicas
- Analisando os dados
- Convertendo String - Double
- Convertendo String - Date
Seleções e Consultas
- Selecionando informações
- Identificando valores nulos
- Ordenando os dados
- Filtrando os dados
- O comando LIKE
Agregações e Junções
- Sumarizando os dados
- Juntando DataFrames
- SparkSQL
Formas de Armazenamento
- Arquivos CSV
- Arquivos Parquet
- Particionamento dos dados
- Conclusão
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Apache Spark com Python
10h
De curso
66
Atividades
Escola
Data Science
Pessoas estudando esse curso nesse mês:
Estude com elas
Wellington Ishimaru
Mateus Schipanski Schualtz
Pablo Diego Bagano Vilas Boas
Ruth de Oliveira Carvalho
Renan Martins
e mais 554 pessoas
e mais 554 pessoas
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Aprenda Engenharia de Dados com esse e outros cursos, comece agora!
Plus
Impulsione a sua carreira com os melhores cursos e faça parte da maior comunidade tech.
Matricule-seR$109/mêsValor total R$1.308 em até 12x1 ano de Alura
Assine o PLUS e garanta:
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias com especialistas
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
-
O mais escolhido
Pro
Acelere o seu aprendizado com a IA da Alura e prepare-se para o mercado internacional.
Matricule-seR$149/mêsValor total R$1.788 em até 12x1 ano de Alura
Todos os benefícios do PLUS e mais vantagens exclusivas:
- Luri , a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Ultra
Transforme a sua jornada com benefícios exclusivos e evolua ainda mais na sua carreira.
Matricule-seR$209/mêsValor total R$2.508 em até 12x1 ano de Alura
Todos os benefícios do PRO e mais vantagens exclusivas:
- Luri , com mensagens ILIMITADAS
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
- Luri Vision , a IA que enxerga suas dúvidas
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
- 6 Ebooks da Casa do Código
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.