Data Engineer

ACENSI est à la recherche d'un Data Engineer pour l'un de ses clients dans le secteur du transport public basé à Bruxelles : Activités et principes de planification et d'analyse
• Peut analyser une demande du business et la traduire en une méthodologie et une philosophie de planification agile.
• Expérience dans la conception d’Entity-Relationship Diagrams (ERD) et la contribution aux ERD.
• Élaboration et proposition d’une solution techniquement durable et facile à maintenir, en pesant le pour et le contre et en analysant l'impact potentiel.
• Connaissance des techniques de profilage des données pour mieux comprendre les données. Activités et principes de développement
• Maîtrise des principes du (Clean) Code.
• Maîtrise de la conteneurisation et de l'orchestration des conteneurs.
• Expertise en matière de pratiques CI/CD et de gestion de version (Git), en veillant à assurer des pratiques de codage faciles à maintenir.
• Connaissance des modèles et des approches appropriés en matière de pipeline de données et capacité à les appliquer de manière ciblée.
• Contrôle et gestion de la qualité du code et des pipelines de données au moyen de tests (unit, integration, end-to-end tests).
• Contrôle et gestion de la qualité des données par le biais de tests de la qualité des données et du nettoyage des données.
• Contrôle et gestion de la qualité de l'intégrité d'un modèle de données.
• Capacité d’identifier, d’analyser et de résoudre/d’optimiser les problèmes de performance (performance tuning). Langages de codage, protocoles standard et technologies
• Compétent.e en matière d’utilisation et de gestion des API.
• Utilise Jinja pour l'esquisse de modèle et la génération SQL.
• Peut aisément utiliser Python pour diverses manipulations de données.
• La connaissance du logiciel Pandas est un plus.
• Une expérience approfondie de SQL est primordiale.
• Manipulation et traitement de sources de données non structurées et semi-structurées (JSON, XML, etc.).
• Connaissance de PySpark Disciplines liées aux données
• Data Pipelining & Data Orchestration
• Data Warehousing
• Data Laking
• Applications opérationnelles : connaissance et expérience des bases de données relationnelles et des techniques de normalisation des données Méthodes d'organisation des données
• Connaissance de l'approche Kimball : o Maîtrise des techniques de modélisation dimensionnelle de Kimball pour l'entreposage de données. o Peut traduire une demande en dimensions et faits robustes et (ré)utilisables. o Expertise dans la conception de structures de schémas en étoile ou en flocon de neige pour une analyse efficace des données.
• Compétence en matière d’architecture en médaillon pour l'organisation des données : o Expertise dans la compréhension et l’implémentation de l'architecture Bronze-Silver-Gold pour une organisation efficace des données. o Compétences en matière de création de cadres permettant l'interopérabilité, l’échange de données et la gouvernance entre diverses sources de données. Outils
• Expérience de l'utilisation de Jira ou d'un outil équivalent
• Expérience avec StarUML ou un outil équivalent
• Expérience de l'utilisation d'Airflow ou d'un outil équivalent pour l'orchestration des données
• Expérience de l'utilisation de SAP HANA ou d'un outil équivalent pour l'orchestration des données
• Expérience de l'utilisation de GitLab ou d'un outil équivalent Langues Maîtrise parfaite d’une des 2 langues officielles (FR, NL) et bonne connaissance de la seconde (niveau B2).