Descrição da Vaga
Engenheiro de Dados Responsabilidades e atribuições: É de responsabilidade da posição catalogar e criar estruturas de programas de sistemas distribuídos para processamento de ETL.
Criar processos de integrações de dados em tempo próximo ao real, em processamentos que variam de 5 min a 1 hora e processamentos de longo termo acima de 1 hora.
Estar familiarizado com estruturas de dados modernas como bases de dados chave e valor, relacional, não relacional, documento, grafos, colunar e lineares.
O engenheiro de dados deve ter conhecimento de metodologias e formatos de criptografia.
É necessário entender de gerenciadores de fluxo de execuções de tarefas.
O engenheiro de dados deve garantir que o processo de governança de dados seja respeitado sob as regras da companhia.
Requisitos e qualificações: Escolaridade: Computação, Engenharia de Software, ou em áreas correlatas.
Conhecimento Exigido: Habilidade em entender a linguagem do negócio;
Conhecimento com manipulação de grande quantidade de dados;
Conhecimento de bancos de dados e modelagem de dados, processo de extração, transformação e carregamento de dados, Data Warehouse/Data Lake;
Experiência em SQL / PL SQL, SAS ou Tableau ou PowerBI, gerenciamento de dados, funções de qualidade, ferramentas de Big Data (Hadoop, Hive, etc.
).
Conhecimentos em linguagens de programação (Java, Python, R ou Scala).
Conhecimentos em Advanced Message Queuing Protocol (AMQP);
Inglês avançado;
Conhecimento de clouds AWS ou Oracle;
Processamento de dados utilizando Spark;
Conhecimentos em AirFlow e Pandas;
Utilização de Stream de Dados Kafka;
Object storage Oracle e S3;
Certificados de cloud AWS e/ou Oracle;
Conhecimento banco de dados Oracle e Redshift;
Experiência com Oracle Database Integrator - ODI;
Experiência com Oracle GoldenGate;
Experiência Elastic Search;
Conhecimento de StepFunctions;
Conhecimento de estruturas Serverless AWS ou Oracle;
Esta vaga foi obtida de um site de empregos.
