Talencia Consulting

h2Talencia est à la recherche d'un Azure Data engineer pour un de ses clients /h2 br/

Location:
Wallonia, Belgiumbr/ Work model: Hybrid
- 3 days onsitebr/ Start: ASAPbr/ Seniority: Medior-Seniorbr/ br/ Notre client mène actuellement un important programme de modernisation de sa plateforme data, avec pour objectif de migrer un environnement data historique vers une architecture moderne de type Databricks Lakehouse sur Microsoft Azure.br/ L'environnement existant comprend notamment des vues SQL, un système de templating basé sur Jinja ainsi qu'une orchestration via Azure Data Factory. La transformation introduira les fonctionnalités modernes de Databricks, notamment Lakeflow, Unity Catalog, PySpark et des pratiques CI/CD automatisées.br/ En tant qu'Azure Data Engineer, vous rejoindrez une équipe Data Engineering existante et contribuerez directement à la migration et à l'industrialisation de la nouvelle plateforme.br/ Vous serez responsable de la conception, du développement et de la maintenance des pipelines de données, de la migration des data marts existants, de la mise en place de frameworks de qualité et de tests, ainsi que de la validation de l'équivalence des résultats entre l'ancienne et la nouvelle plateforme.br/ br/ h2Responsabilités /h2 br/ Data engineering ETL:br/ ul liDévelopper et industrialiser des pipelines Databricks Lakeflow / Spark Declarative Pipelines /li liConstruire des pipelines d'ingestion utilisant notamment Auto Loader et Copy Into /li liImplémenter des mécanismes de CDC / SCD Type 2 pour le suivi des changements /li liDévelopper les couches de transformation Silver et Gold en utilisant SQL, Python et PySpark /li liMigrer les vues SQL existantes et les tables basées sur des templates Jinja vers les nouveaux patterns Databricks /li liRéaliser des migrations complètes de data marts, incluant les pipelines, les tests, la documentation et les modèles de reporting /li liTravailler avec Azure Data Factory pour l'orchestration et l'intégration avec les Databricks Jobs /li /ul br/ Data platform gouvernance:br/ ul liTravailler avec Azure Data Lake Storage, Azure Blob Storage et Databricks /li liConcevoir et maintenir les structures Unity Catalog, notamment les catalogues, schémas et contrôles d'accès /li liAppliquer les bonnes pratiques de sécurité et de gouvernance sur les environnements Dev, UAT et Production /li liConcevoir des solutions de traitement des données évolutives, performantes et optimisées en termes de coûts /li liMettre en place le monitoring et le suivi des coûts au niveau des différents data marts /li /ul br/ Databricks Big Data:br/ ul liDévelopper des solutions de traitement de données avec Databricks et Apache Spark /li liTravailler intensivement avec PySpark et SQL sur de grands volumes de données /li liContribuer à la migration des workloads data historiques vers une architecture moderne Lakehouse /li liUtiliser, lorsque cela est pertinent, des outils de développement assistés par l'IA afin d'accélérer les activités de migration, tout en garantissant le respect des standards d'ingénierie /li liParticiper aux tests de non-régression afin de garantir que les données migrées produisent des résultats équivalents à ceux de l'environnement historique /li /ul br/ Data quality analytics:br/ ul liContribuer à la mise en place d'un framework structuré de Data Quality /li liDéfinir et implémenter des règles de validation et des contrôles de qualité réutilisables /li liAssurer le monitoring de la qualité, de la fraîcheur des données et des performances des pipelines /li liCollaborer avec les parties prenantes métier afin de définir les règles de qualité propres aux différents domaines fonctionnels /li liConstruire et exposer les data marts via des modèles sémantiques Power BI, notamment avec Tmdl et DAX /li liContribuer à la mise en place de solutions d'analytics conversationnel via Databricks Genie /li /ul br/ h2Compétences et expérience requises /h2 ul liExpérience professionnelle confirmée en tant que Data Engineer /li liSolide expérience pratique avec Databricks et les architectures modernes Lakehouse /li liExcellente maîtrise de SQL et du Data Modelling /li liTrès bonnes compétences en programmation Python et PySpark /li liExpérience avec les Databricks Automation Bundles /li liSolide expérience dans la conception de Data Warehouses / Data Marts en Star Schema /li liExpérience dans des projets de migration de plateformes data legacy /li liCapacité à comprendre, reproduire et valider la logique métier existante avant de la migrer vers une nouvelle plateforme /li liExpérience dans des environnements disposant de standards d'ingénierie et de pratiques de développement établis /li liFrançais courant et anglais professionnel /li liExcellentes capacités d'analyse et de résolution de problèmes /li liBonnes compétences en communication et capacité à expliquer des concepts techniq