Data Engineer Azure Databricks Freelance

pTaken en verantwoordelijkheden Voor een Proof of Concept rond de geautomatiseerde detectie en verklaring van trendwijzigingen in binnenvaarttrafieken wordt een ervaren Data Engineer gezocht. De organisatie beschikt over gedetailleerde gegevens over goederentrafieken op het waterwegennet. Deze data laten analyses toe van vervoersstromen, herkomst en bestemming, corridors, ladingen en lossingen, tonnages, doorvaarten en andere reiskenmerken. Door verdere digitalisering nemen zowel de beschikbaarheid als de bruikbaarheid van deze gegevens toe. De opdracht onderzoekt in welke mate technologie relevante evoluties automatisch kan detecteren, mogelijke verklarende parameters kan identificeren en de bewijskracht en onzekerheid van gevonden verbanden transparant kan weergeven. Het gaat niet om een autonoom beslissingssysteem, maar om een ondersteunend analyse-instrument waarbij inhoudelijke validatie noodzakelijk blijft. Het doel is aan te tonen of deze aanpak technisch, organisatorisch en operationeel haalbaar is binnen de bestaande ICT-context. De verworven inzichten moeten bruikbaar zijn voor beleidsvoorbereiding, corridorwerking, commerciële opvolging en later mogelijk ook voor beleid rond modal shift. Als Data Engineer werk je mee aan het ontwerpen, bouwen, testen, documenteren en overdraagbaar opleveren van de Proof of Concept. /ppJe verantwoordelijkheden omvatten onder meer: /pulliontwikkelen en implementeren van ETL-processen binnen Azure Databricks; /liliontwerpen, opzetten en beheren van lakehouse-architecturen; /liliuitwerken van datakwaliteitscontroles, monitoring en logging; /lilibeschikbaar maken van datasets voor analyses en machine learning in samenwerking met een Data Scientist; /liliopzetten van CI/CD-pipelines binnen Azure DevOps; /liliondersteunen van Azure Databricks platform deployment; /lilidocumenteren van oplossingen, deploymentprocedures en onderhoudsaspecten; /lilizorgen voor kennisoverdracht van broncode, configuratie en technische documentatie; /lilimeewerken aan een transparante rapportering van bron, methode, sterkte van verbanden, onzekerheid, beperkingen en reproduceerbaarheid. /li /ulpHet prototype moet functioneren binnen een goedgekeurde projectomgeving en aansluiten op vereisten rond beveiliging, toegangsbeheer, dataclassificatie, integratie en beheerbaarheid. Naast de functionele werking is ook de latere duurzame inzetbaarheid van de oplossing van belang. /ph3Jouw profiel /h3ulliJe hebt aantoonbare ervaring als Data Engineer in meerdere projecten. /liliJe hebt sterke kennis van Azure Cloud en het Azure Databricks-platform. /liliJe hebt ervaring met Databricks Unity Catalog. /liliJe hebt ervaring met databanken zoals Oracle en MS SQL. /liliJe hebt ruime ervaring met het ontwerpen en implementeren van Extract, Transform, Load (ETL)-processen. /liliJe beheerst programmeertalen zoals Python; kennis van Java is eveneens relevant. /liliJe hebt ervaring met het opzetten van CI/CD-pipelines binnen Azure DevOps. /liliJe beschikt over aantoonbare kennis van AI/ML. /liliKennis van Datastage en SAS is een meerwaarde. /liliErvaring binnen projecten voor de overheid is een plus. /liliJe bent een gedreven teamspeler die tegelijk zelfstandig kan werken. /liliDe certificatie Databricks Data Engineer Associate is verplicht. /liliAzure-certificeringen zijn een pluspunt, met minimaal kennis op het niveau van fundamentals zoals AZ-900 en DP-900. /li /ulpDeze functie wordt aangeboden als een deeltijdse freelance rol (20%). Originally posted on Himalayas /p