Vacancy Senior Data Engineer

pDans le cadre du programme DEP (Data Exchange Platform), nous construisons une plateforme de données on-premise pour le Ministère de la Défense Belge. La plateforme doit répondre à des exigences strictes de sécurité, de gouvernance et de souveraineté des données. /ppVous rejoindrez la Sierra Team et travaillerez aux côtés d'un Data Architect, d'un Solution Architect et un BI developer. /ppVos missions principales /ppIngestion pipelines de données /pulliConcevoir et déployer des pipelines d'ingestion depuis des sources hétérogènes : fichiers , APIs, bases relationnelles. /liliImplémenter des pipelines pour l'ingestion incrémentale et en streaming. /liliAssurer la fiabilité, l'idempotenceet la traçabilité de chaque pipeline. /li /ulpTransformation couche sémantique /pulliDévelopper les modèles de transformationsur les couches Bronze, Silver et Gold. (Architecture medallion) /liliImplémenter les bonnes pratiques d'historisations de données (ex: SCD2, upsert, append only,...). /liliDévelopper les exports vers Delta Lake /liliGérer et maintenir les tables Delta Lake. /liliGarantir la cohérence transactionnelle des données dans un environnement multi-domaines. /liliImplémenter et maintenir les assests à orchestrer. /liliMonitorer les runs, gérer les erreurs et automatiser les alertes. /li /ulpGouvernance lignage /pulliPousser les métadonnées techniques et business vers la plateforme de data. /liliMaintenir le lignage de bout en bout. /liliContribuer à la rédaction des DUA, SLA et documents de gouvernance associés. /li /ulpExposition des données /pulliDévelopper des endpoints pour exposer la couche Gold aux Dashboards BI. /liliCollaborer avec les équipes reporting pour l'alimentation des dashboards BI /li /ulpProfil recherché /ppCompétences techniques requises /pulliMaîtrise de Python /liliMaîtrise du SQL /liliExpérience confirmée avec dbt-core (modèles, snapshots, macros, tests, profils). /liliBonne connaissance de DuckDB comme moteur de requête analytique embarqué. /liliExpérience avec Delta Lake (transactions ACID, time travel, OPTIMIZE/VACUUM, ...). /liliConnaissance des bases relationnelles : MSSQL, PostgreSQL (SQL avancé, CDC). /liliExpérience avec un orchestrateur de données : Dagster, Airflow ou équivalent. /liliÀ l'aise sur Linux/OpenShift et ing PowerShell (Windows dev environment). /liliFamiliarité avec les outils de gouvernance : DataHub, OpenMetadata ou équivalent. /liliExpérience dans le développement BI. /li /ulpCompétences appréciées /pulliExpérience Kafka/Debezium pour la capture de données en temps réel. /liliConnaissance de Spark (Spark SQL, Thrift Server, Beeline). /liliExpérience avec Power BI Report Server (PBIRS) ou Apache Superset. /liliSensibilité à la sécurité des données dans des environnements à accès restreint. /liliAvoir des connaissance des concepts Lakehouse (architecture Medallion), DWH et Datalake /li /ulpSavoir-être /pulliRigueur et autonomie dans la gestion de pipelines complexes multi-domaines. /liliCapacité à documenter les décisions techniques et à vulgariser pour des interlocuteurs non-techniques. /liliEsprit d'équipe. /liliEtre curieux et avoir un esprit orienté solution /li /ulpCe que

nous offrons
/pulliUne mission stable qui s'inscrit dans la durée. /liliUn projet à fort impact dans un environnement sécurisé et techniquement stimulant. /liliUne équipe expérimentée et bienveillante, orientée qualité et bonnes pratiques. /liliDes opportunités de montée en compétences sur la gouvernance, l'orchestration et le lakehouse. /li /ulpCompte tenu de la nature des activités, le candidat doit posséder la nationalité belge. /p