Engenheiro(a) de Dados Sênior
Il y a 4 jours
Belgique
Grupo Easy
Télétravail
Temps plein
31 000 € - 52 000 €/an
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Local de atuação: 100% remoto Contratação: PJ ou Cooperado Tempo de Projeto: 12 meses
Principais responsabilidades:
- Engenharia de Dados na GCP: Projetar, desenvolver, orquestrar e otimizar pipelines de dados (batch e streaming) utilizando as principais ferramentas do ecossistema Google Cloud (BigQuery, Dataflow, Dataproc e Pub/Sub).
- Integração Multicloud e Híbrida: Conectar e integrar dados de ambientes diversos, incluindo Oracle (OCI), SQL Server (on-premises) e AWS (S3).
- Qualidade e Eficiência: Garantir a qualidade, governança e monitoramento dos dados, otimizando custos e escalabilidade.
- Colaboração Estratégica: Estruturar e preparar dados para apoiar os times de Ciência e Análise de Dados.
Requisitos técnicos
- Pipelines de Dados (Dataflow): Desenvolvimento de fluxos de ETL/ELT para extração de dados do Oracle e SQL Server, com transformação e carga automatizada no BigQuery.
- Arquitetura de Dados (BigQuery): Estruturação e organização de modelos analíticos divididos em quatro camadas de maturidade: Raw, Bronze, Silver e Gold.
- Orquestração de Fluxos (Cloud Composer): Implementação e agendamento dos pipelines com execução ordenada, monitoramento ativo e tratamento automatizado de falhas.
- Governança e Documentação: Catálogo completo de tabelas, metadados e ativos de dados utilizando as ferramentas Dataplex e/ou Data Catalog.
Entregas esperadas.
- Desenvolvimento de pipelines no Dataflow para extração de dados de Oracle e SQL Server, transformação e carga no BigQuery.
- Estruturação de modelos analíticos no BigQuery, organizados em camadas Raw, Bronze, Silver e Gold.
- Implementação de orquestrações no Cloud Composer, com execução ordenada, monitoramento e tratamento de falhas.
- Documentação de tabelas, metadados e ativos de dados utilizando Dataplex e/ou Data Catalog.
Diferenciais Experiência ou conhecimento em sistemas de informação hospitalar e de saúde, especialmente:
PEP / EMR / EHR; RIS (Radiology Information System); LIS (Laboratory Information System); sistemas de agendamento e regulação.