O que faz uma pessoa Engenheira de Dados?
Introdução
A Ciência de Dados tem conquistado um grande espaço no mercado de trabalho e a demanda de profissionais é crescente. Com o avanço da tecnologia, muitos dados vêm sendo produzidos e a maioria das pessoas gestoras parece não ter noção de que esses dados podem ajudar a alavancar as vendas e destacar a empresa da concorrência. Aqui entra a pessoa engenheira de dados.
Neste artigo, vamos acompanhar o que é a Engenharia de Dados, o que faz uma pessoa engenheira de dados e quais as soft skills e hard skills necessárias para atuar nessa área.
O que é Engenharia de Dados?
Engenharia de Dados envolve coletar, armazenar e distribuir os dados. Ela também é responsável por criar todo um pipeline, mantê-lo em execução e transformar os dados brutos em um formato útil para análise. Isso requer conhecimento técnico e habilidade de comunicação para entender os objetivos da empresa ou do cliente.
O que faz uma pessoa Engenheira de Dados?
A pessoa engenheira de dados é responsável por encontrar tendências nos conjuntos de dados e desenvolver algoritmos para ajudar a tornar os dados brutos em informações úteis para a empresa e cientistas de dados.
É exigido um profundo conhecimento de modelagem de banco de dados relacionais e não relacionais, linguagens de programação e habilidades de comunicação.
A principal função é a construção de reservatórios de dados, conhecidos como data warehouses e data lakes. A engenharia de dados trabalha em backoffice para descomplicar a vida de cientistas de dados e tem, como sua principal importância, a promoção da cultura de dados dentro de uma empresa. Afinal, essa área é responsável pela disponibilização dos dados.
Segundo Jeronymo Marcondes, professor na USP/Esalq, a pandemia de Covid-19 foi um bom exemplo da importância da engenharia de dados. Em entrevista, ele afirmou que “muita gente foi para o home office e necessitou que os dados a serem utilizados por uma empresa estivessem disponíveis a distância”.
Refletindo sobre isso, podemos levantar alguns questionamentos, tais como: Como garantir bancos de dados eficientes para cientistas de dados? Como garantir que os dados a serem utilizados por funcionários(as) e pelas aplicações mantenham sua eficiência na consulta?
Funções
Há três funções principais que pessoas engenheiras de dados podem exercer:
Generalista: desempenhada em pequenas equipes ou em pequenas empresas. Generalistas são responsáveis por cada etapa do processo de dados, desde gerenciar dados a analisá-los. Este é um bom papel para cientistas de dados que desejam migrar para a Engenharia de Dados.
Centrada no pipeline: realizada em empresas de médio porte. Nesta função, as pessoas engenheiras de dados trabalham em conjunto com cientistas de dados para ajudar a usar os dados coletados. Isso implica um conhecimento aprofundado de sistemas distribuídos e ciência da computação.
Baseada em banco de dados: é comum em organizações maiores, onde o gerenciamento do fluxo de dados é um trabalho em tempo integral. Nelas, as pessoas engenheiras de dados se concentram em bancos de dados analíticos que envolvem trabalhos com ETL (com exceção a parte de tratamento), data warehouses e são responsáveis pelo desenvolvimento de esquemas de tabelas.
Responsabilidades
Algumas das responsabilidades mais comuns de uma pessoa engenheira de dados:
- Arquitetar sistemas distribuídos.
- Criar pipelines confiáveis.
- Combinar fontes de dados.
- Criar a arquitetura de soluções.
- Identificar maneiras de melhorar a confiabilidade, a eficiência e a qualidade dos dados.
Beleza! Isso tudo é muito legal de fazer. Mas o que é necessário aprender para entrar na área de Engenharia de Dados? Vamos conferir abaixo:
Habilidades
Hard Skills
Ferramentas como Hadoop e Spark e linguagens como Scala, Java e Python são muito importantes. Além delas, é preciso conhecer vários frameworks, bancos de dados e serviços Cloud. Tais como:
- Google Big Query
- Kafka
- MongoDB
- MySQL
- Cassandra
- Storm
- Neo4j
- AWS Kinesis
- AWS RDS, entre outras.
Não é necessário dominar todas essas ferramentas. O importante é ter conhecimento geral a respeito delas que permita escolher qual a mais adequada para solucionar o problema.
Soft Skills
Nesse ponto, destacamos a habilidade de comunicação, com objetivo de entender o que líderes de negócios desejam extrair dos dados. Também precisamos de conhecimento da regra de negócio da empresa, entre outras habilidades, como:
- Adaptabilidade: capacidade de se adaptar à mudanças, sejam de processos ou ferramentas.
- Pensamento criativo: modo como se encara os problemas e a importância de ter soluções criativas.
- Negociação: habilidade de saber se comunicar, seja para negociar prazos ou até mesmo vendas de serviços.
- Trabalho em equipe: relacionado a estimular as competências coletivas e delegar tarefas em prol do bom resultado.
- Inteligência emocional: saber lidar com situações de estresse e grande pressão.
Caso queira saber mais sobre soft skills, recomendo a leitura deste artigo: Soft Skills mais importantes para a área de dados.
Quer mais?
Uma dica final: se você se interessou pela Engenharia de Dados, temos a formação perfeita para você: Iniciando com Engenharia de Dados. Nela você vai aprender a base de programação com Python, conceitos de Big Data e muito mais!