Descrição da Vaga
- Construir Data Pipelines resilientes e reutilizáveis para extrair, carregar e transformar dados brutos em um modelo de dados relacional.
- Trabalhar em estreita colaboração com a equipe para formalizar fluxos de dados e estabelecer padrões de dados.
- Supervisionar todos os processos de ingestão e integração de dados, garantindo a qualidade e a integridade dos dados em todas as etapas, desde a fonte até o destino, incluindo o data warehouse, data lake, entre outros.
- Atuar como o especialista técnico em ADF, Databricks, Python/Scala, Spark e Spark SQL, fornecendo orientação e soluções técnicas para a equipe.
- Demonstrar habilidade para lidar com um alto volume de trabalho em um ambiente acelerado, mantendo a qualidade e o rigor técnico.
- Ser altamente independente, capaz de tomar iniciativas e propor melhorias nos processos de engenharia de dados.
Conhecimentos
Requisitos:
- Experiência comprovada como Engenheiro de Dados, com ênfase na orquestração de Data Pipelines.
- Conhecimento sólido de ferramentas e tecnologias, como Azure Data Factory (ADF), Databricks, Python/Scala, Spark, Spark SQL e Delta Lake.
- Experiência em construção de Data Pipelines resilientes e reutilizáveis, com foco na extração, carga e transformação de dados brutos em um modelo de dados relacional.
- Familiaridade com fluxos de dados e padrões de dados, e capacidade de trabalhar em equipe para formalizá-los.
- Experiência em supervisionar processos de ingestão e integração de dados, garantindo a qualidade e a integridade dos dados em toda a pipeline.
- Fortes habilidades em ADF, Databricks, Python/Scala, Spark e Spark SQL, com capacidade de atuar como especialista técnico.
- Capacidade comprovada de lidar com um alto volume de trabalho em um ambiente acelerado, sem comprometer a qualidade e a precisão dos resultados.
- Autonomia e capacidade de trabalhar de forma independente, tomando iniciativas e propondo melhorias nos processos de engenharia de dados.
Informações Adicionais
Imprescindível experiência com: Microsoft Azure DataBricks, Microsoft Azure Data Factory (ADF), SQL, Spark, Python, Delta Lake e inglês avançado/fluente.
Regime de Contratação
- Prestador de serviços (PJ)