Para conclusão
A formação Apache Spark com Python da Alura tem como objetivo preparar o(a) aluno(a) para trabalhar com Engenharia de Dados, Data Science e Machine Learning em um contexto de Big Data.
Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.
O Apache Spark é um framework para computação distribuída que dá suporte para mais de uma linguagem de programação (Python, SQL, Scala, Java e R). Ele é utilizado para executar Engenharia de Dados, Data Science e Machine Learning em apenas um computador ou em um cluster. É uma ferramenta muito aplicada no contexto Big Data.
Nessa formação, vamos aprender a lidar com diferentes conjuntos de dados utilizando SQL de duas maneiras. Primeiro, fazendo uso de métodos específicos dos DataFrames Spark e, em um segundo momento, utilizando comandos SQL puros.
Por fim, vamos focar nossos estudos em modelos de Machine Learning com o uso do MLlib do Spark.
Conteúdos pensados para facilitar seu estudo
Formação completa para o mercado
Do zero ao sonhado emprego em sua área de interesse
Comece essa formação agora mesmo e capacite-se para seu próximo projeto!
Conheça os planos
Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.
Rodrigo é estatístico e especialista em Big Data com forte interesse em geoprocessamento, desenvolvimento web, web scraping, machine learning e Data Science. É instrutor e tech lead da escola de dados da Alura.
Técnico em Informática e Analista de Relações Internacionais, trabalhou com desenvolvimento de software e ciência de dados voltados para pesquisa. Atualmente estuda governança de dados e tenta sempre construir pontes entre a tecnologia e o internacional.
Técnico em Informática e Analista de Relações Internacionais, trabalhou com desenvolvimento de software e ciência de dados voltados para pesquisa. Atualmente estuda governança de dados e tenta sempre construir pontes entre a tecnologia e o internacional.
Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.
Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.
Bruno é um instrutor de Data Science e Engenheiro Eletricista pela Universidade Federal do Piauí. Se dedica em áreas como Data Science, Machine Learning e Deep Learning, e possui grande interesse em engenharia de dados e engenharia de machine learning. Além disso, em seu tempo livre, ele gosta de jogar xadrez, tocar instrumentos musicais e jogar League of Legends.
Neste passo inicial, preparamos um conteúdo para ajudar você a conhecer melhor o Apache Spark e como iniciar um projeto com esta ferramenta.
No primeiro curso dessa jornada, você vai aprender a trabalhar com dados no Spark utilizando instruções SQL com a linguagem Python através da biblioteca PySpark.
Alura+ Apache Spark: a história do Big Data
Artigo Iniciando um projeto Spark no Colab | Alura
Curso Spark: apresentando a ferramenta
10hAlura+ Spark: RDD
Artigo Arquivos Parquet
Com foco maior na construção de modelos de Machine Learning, esta etapa mostra como utilizar as ferramentas nativas do Spark para implementação de projetos de aprendizagem supervisionados e não supervisionados.
Vamos trabalhar com o MLlib do Spark e desenvolver projetos com modelos de regressão, classificação, clusterização e problemas que envolvem processamento de linguagem natural. Tudo isso acompanhado de alguns artigos para complementar os seus estudos.
Artigo Machine learning com Apache Spark
Curso Spark: trabalhando com regressão
08h
Curso Spark: criando modelos de classificação
10h
Curso Spark: processamento de linguagem natural
08hArtigo Spark NLP: trabalhando linguagem natural de forma mais otimizada
Curso Spark: sistema de recomendação
10hEscola
Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...
Conheça a EscolaImpulsione a sua carreira com os melhores cursos e faça parte da maior comunidade tech.
1 ano de Alura
Assine o PLUS e garanta:
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
Acelere o seu aprendizado com a IA da Alura e prepare-se para o mercado internacional.
1 ano de Alura
Todos os benefícios do PLUS e mais vantagens exclusivas:
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Transforme a sua jornada com benefícios exclusivos e evolua ainda mais na sua carreira.
1 ano de Alura
Todos os benefícios do PRO e mais vantagens exclusivas:
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.