Formações Data Science Primeiros passos com Engenharia de Dados

Formação Primeiros passos com Engenharia de Dados

* Esta formação faz parte dos nossos cursos de Data Science

Quero Estudar na Alura

55h

Para conclusão

Cursos

Vídeos extras

Artigos

Conheça a formação de Primeiros passos com Engenharia de Dados

A formação Primeiros passos com Engenharia de Dados busca preparar iniciantes da área de Engenharia de Dados para os desafios do dia a dia profissional, usando Python, SQL, NoSQL e outras ferramentas.

Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.

O QUE É ENGENHARIA DE DADOS?

A Engenharia de Dados desempenha um papel crucial na indústria da tecnologia, permitindo que empresas de diversos setores coletem, armazenem, processem e analisem grandes volumes de dados em tempo real.

Profissionais especializados nessa área são responsáveis por projetar, implementar e manter a infraestrutura necessária para o gerenciamento eficiente dos dados de uma organização. Eles criam fluxos de dados que integram, limpam e transformam informações provenientes de diferentes fontes e formatos, possibilitando a geração de insights valiosos para a tomada de decisões empresariais.

O QUE VAMOS APRENDER?

Nesta formação, você terá a oportunidade de adquirir conhecimentos essenciais para ingressar na área de Engenharia de Dados. Exploraremos diversos tópicos fundamentais, como Python, SQL e pipelines de dados.

Iniciaremos aprendendo a construir pipelines ETL (Extract, Transform e Load) utilizando a linguagem Python, além de compreender como aplicar Programação Orientada a Objetos (POO) para tornar seus códigos mais legíveis.

Além disso, nesta formação, você terá a oportunidade de compreender a diferença entre bancos de dados SQL e NoSQL, assim como os principais conceitos relacionados a esses sistemas de armazenamento de dados.

Por fim, você consolidará todos os conhecimentos adquiridos ao longo dessa formação, desenvolvendo um pipeline completo de Engenharia de Dados. Você terá um primeiro contato com uma das ferramentas de gerenciamento de fluxos de dados, o Airflow. Essa experiência irá ampliar ainda mais suas habilidades e prepará-lo para enfrentar desafios reais na área de dados.

QUAIS SÃO OS PRÉ-REQUISITOS PARA FAZER ESSA FORMAÇÃO?

Para aproveitar melhor esse conteúdo, é importante que você já tenha conhecimento dos conceitos-chave do Python aplicados à área de Data Science de forma abrangente.

Por que estudar esta formação?

Guia de aprendizado
Conteúdos pensados para facilitar seu estudo
Do básico ao avançado
Formação completa para o mercado
Você dentro do mercado
Do zero ao sonhado emprego em sua área de interesse

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Com quem você vai aprender?

Danielle Oliveira
Danielle é formada em Sistemas de Informação. Fez parte do Scuba Team. Atualmente é instrutora de Data Science, nas áreas de Banco de dados, Business Intelligence e NoSQL. É apaixonada por livros, música e tecnologia.
Danielle Oliveira
Danielle é formada em Sistemas de Informação. Fez parte do Scuba Team. Atualmente é instrutora de Data Science, nas áreas de Banco de dados, Business Intelligence e NoSQL. É apaixonada por livros, música e tecnologia.
Millena Gená Pereira
Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^
Millena Gená Pereira
Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^
Igor Nascimento Alves
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Igor Nascimento Alves
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Ana Duarte
Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.
Ana Duarte
Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.
Vinicius Dias
Vinicius Dias é Zend Certified Engineer (Engenheiro PHP Certificado pela Zend), iMasters Certified Professional, formado em Tecnologia da Informação e pós-graduado em Arquitetura de Software. Com mais de uma década de experiência na área, já trabalhou em diversas empresas ao redor do mundo, sendo atualmente Engenheiro de Software Senior em uma empresa estadunidense. Tem como lema a regra do bom escoteiro: Sempre deixe o código mais limpo do que quando você o encontrou.
Vinicius Dias
Vinicius Dias é Zend Certified Engineer (Engenheiro PHP Certificado pela Zend), iMasters Certified Professional, formado em Tecnologia da Informação e pós-graduado em Arquitetura de Software. Com mais de uma década de experiência na área, já trabalhou em diversas empresas ao redor do mundo, sendo atualmente Engenheiro de Software Senior em uma empresa estadunidense. Tem como lema a regra do bom escoteiro: Sempre deixe o código mais limpo do que quando você o encontrou.
Marcus Almeida
Bacharelando em Engenharia Elétrica pelo Instituto Federal do Maranhão. Atuou como parte do Scuba Team da Escola de Dados na Alura, trabalhando com conteúdos voltados a Data Science, Machine Learning, Python e SQL. Adora conversar tecnologia, universo geek, games e também aprender coisas novas.
Marcus Almeida
Bacharelando em Engenharia Elétrica pelo Instituto Federal do Maranhão. Atuou como parte do Scuba Team da Escola de Dados na Alura, trabalhando com conteúdos voltados a Data Science, Machine Learning, Python e SQL. Adora conversar tecnologia, universo geek, games e também aprender coisas novas.

Passo a passo

1 Python para Engenharia de Dados
Neste passo inicial, o objetivo é que você se familiarize com a área da Engenharia de Dados, explorando o uso da linguagem Python e várias ferramentas de análise e gerenciamento de dados.
Na primeira etapa dessa jornada, você irá descobrir os fundamentos da Engenharia de Dados, aprenderá a importância de uma pessoa Engenheira de Dados no mundo atual, e como Python se aplica nesta área, aprendendo a criar seus próprios pipelines ETL.
Você também vai aprender a usar o WSL para executar programas e comandos Linux no Windows e a criar e gerenciar ambientes virtuais em Python. Além disso, terá uma introdução à Programação Orientada a Objetos (POO) e ao uso da biblioteca requests do Python para trabalhar com APIs. No final desta etapa, você será capaz de utilizar os principais recursos do Python para montar seus próprios pipelines e extrair, transformar e armazenar diferentes tipos de dados.
- Artigo Engenharia de Dados: o que é, o que faz e um Guia completo
- Curso Pipeline de dados: combinando Python e orientação a objeto
  12h
- Artigo WSL: como executar programas e comandos Linux no Windows?
- Artigo Ambientes virtuais em Python
- Artigo Python: utilizando POO na Engenharia de Dados
- Curso Python e APIs: conhecendo a biblioteca Requests
  08h
2 Sistemas de armazenamento de dados
Vamos embarcar em uma jornada para entender a diferença entre bancos de dados SQL e NoSQL. Exploraremos os conceitos de bancos de dados relacionais e não relacionais, além de descobrir em quais situações utilizar cada tipo de banco de dados.
Você terá a oportunidade de aprender a modelar um banco de dados relacional utilizando SQL, usando o SGBD MySQL e suas principais cláusulas. Demonstraremos como criar esquemas e tabelas, definir chaves primárias e estrangeiras, além de realizar filtros, inserir e excluir informações, utilizar funções de agregação e explorar outros conceitos e técnicas essenciais.
Logo em seguida, introduziremos o MongoDB, um banco de dados orientado a documentos que armazena informações em formato JSON. Você aprenderá a importar dados de arquivos JSON, realizar buscas, atualizar registros e remover informações.
Além disso, abordaremos os bancos de dados em nuvem e forneceremos orientações sobre quando utilizar cada um dos tipos de banco de dados apresentados.
- Artigo SQL e NoSQL: trabalhando com bancos relacionais e não relacionais
- Curso Modelagem de banco de dados relacional: entendendo SQL
  06h
- Artigo Banco de dados relacionais: conhecendo conceitos, terminologias e ferramentas | Alura
- Curso MongoDB: conhecendo um banco de dados NoSQL
  08h
- Alura+ O que é NoSQL?
- Artigo Bancos de dados na nuvem | Alura
3 Iniciando um projeto de Engenharia de Dados
Neste terceiro passo, temos a intenção de orientá-lo na compreensão de um elemento crucial da Engenharia de Dados: o pipeline de dados. Este é um conceito essencial para o gerenciamento eficiente de dados em qualquer projeto de Ciência de Dados.
Nessa etapa, você irá descobrir o que é um pipeline de dados através de um artigo informativo, seguido de um curso prático onde você construirá seu próprio pipeline de dados utilizando Python. Além disso, exploraremos o GitHub, uma ferramenta crucial para o gerenciamento e colaboração em projetos de desenvolvimento de software, através do Alura+, que oferece diferentes maneiras de utilizar essa ferramenta.
Por fim, você aprenderá sobre a importância dos testes em um código de ETL (Extract, Transform, Load), uma técnica essencial na Engenharia de Dados para extrair dados de várias fontes, transformá-los para se adequar ao armazenamento de dados empresarial, e carregá-los em um sistema de destino.
Ao concluir esta etapa, você terá adquirido habilidades essenciais em pipelines de dados, colaboração com o GitHub e técnicas de ETL, tudo isso reforçado com práticas e exemplos concretos.
- Artigo O que é um pipeline de dados? | Alura
- Curso Pipeline de dados: integrando Python com MongoDB e MySQL
  08h
- Alura+ GitHub: diferentes maneiras de compartilhar seu projeto
4 Conhecendo ferramentas de Big Data
Neste quarto passo, você mergulhará no mundo da orquestração de pipelines de dados, um componente fundamental na engenharia de dados. Iniciaremos com um artigo detalhado sobre o Apache Airflow, uma ferramenta líder na orquestração de pipelines. O foco será em entender como o Airflow utiliza as DAGs (Directed Acyclic Graphs) para gerenciar complexas sequências de tarefas. Este conhecimento será a chave para dominar o funcionamento interno do Airflow.
Após absorver os conceitos do artigo, você avançará para um curso prático. Aqui, o desafio será extrair dados climáticos usando uma API, empregando o Apache Airflow. Você não apenas aprenderá sobre DAGs, mas também sobre Tasks e Operadores, aplicando esses conceitos em um projeto prático e envolvente. Esse projeto não só solidificará seu entendimento, mas também servirá como um excelente item de portfólio, demonstrando suas habilidades recém-adquiridas.
Ao concluir esta fase, você terá não apenas uma compreensão sólida dos pipelines de dados, mas também prática hands-on com uma das ferramentas mais demandadas do mercado. Isso te capacitará a construir seus próprios pipelines de dados de forma eficiente e inovadora.
- Artigo Airflow - Entendendo os DAGs
- Curso Apache Airflow: orquestrando seu primeiro pipeline de dados
  08h