Databricks Data Engineer

Data Engineer

Bouw jij graag end-to-end data pipelines en dataplatformen op Databricks? Vertaal je complexe businessvragen moeiteloos naar slimme, schaalbare oplossingen? Ken jij Databricks van Auto Loader tot Unity Catalog en van Notebook tot Asset Bundle? Dan ben jij de Databricks Data Engineer die we zoeken

Jouw impact

Als Databricks Data Engineer bij EpicData zorg je ervoor dat data toegankelijk, schaalbaar en waardevol wordt. Je denkt én bouwt mee aan oplossingen die zowel technisch als functioneel kloppen, met het Databricks Data Intelligence Platform als fundament, meestal op Azure maar evengoed op AWS of GCP.

Je zet end-to-end lakehouse-platformen op: van ingestie met Auto Loader en Lakeflow Connect, over batch- en streamingtransformaties in PySpark en Spark SQL, tot een goed beheerde medallion-architectuur in Delta Lake onder Unity Catalog. Daarnaast adviseer je klanten over hoe ze Databricks slim, veilig en kostenbewust inzetten, en neem je die rol op als teamspeler, inhoudelijk expert of technische lead, net wat de situatie vraagt.

Kortom: jij bent de schakel tussen data en business, en de lakehouse is jouw werkterrein.

Wat ga je doen?

Data toegankelijk maken op Databricks

• Robuuste batch- en streamingpipelines bouwen met Lakeflow Declarative Pipelines (voorheen Delta Live Tables), Auto Loader en Structured Streaming
• Transformaties uitwerken in PySpark en Spark SQL, bovenop Delta-tabellen, en ze orkestreren met Lakeflow Jobs of Azure Data Factory
• Verschillende, vaak rommelige databronnen samenbrengen tot één overzichtelijk geheel, met ingebouwde datakwaliteitsregels (expectations)
• Een medallion-architectuur (bronze, silver, gold) opzetten en beheren in Unity Catalog
• Datamodellen ontwerpen, van klassiek dimensioneel volgens Kimball tot modellen die klaarstaan voor Databricks SQL, Power BI of AI/BI-dashboards

De brug zijn tussen data en business

• Datamodellen ontwerpen, van klassiek dimensioneel volgens Kimball tot modellen die klaarstaan voor Databricks SQL, Power BI of AI/BI-dashboards
• Meedenken over workspace-opzet, Unity Catalog-governance, toegangsbeheer en Delta Sharing
• Meebeslissen over de juiste aanpak, of dat nu als teamspeler, expert of technisch aanspreekpunt is
• Technische keuzes vertalen naar taal die niet-technische collega's en klanten begrijpen

Innoveren

• Nieuwe Databricks-features uittesten, zoals serverless compute, Genie en Mosaic AI, en waar zinvol integreren
• CI/CD opzetten met Databricks Asset Bundles en Git (Azure DevOps of GitHub)
• Continu zoeken naar manieren om pipelines sneller, stabieler of goedkoper te maken, met oog voor clusterconfiguratie, Photon en DBU-verbruik

Wie ben jij?

Je combineert sterke technische vaardigheden met een goed gevoel voor de business achter de data. Je begrijpt dat een pipeline pas geslaagd is wanneer de data die eruit komt betrouwbaar, bruikbaar en schaalbaar is.

Daarnaast herken je jezelf in het volgende

• Idealiter drie jaar ervaring (of meer) als Data Engineer, waarvan minstens een deel hands‑on in Databricks
• Diepgaande kennis van Apache Spark, Delta Lake en Unity Catalog
• Kennis van de volledige data lifecycle: van datamodellering en ETL/ELT tot governance, security en deployment
• Diepgaande kennis van dimensionele modellen volgens Kimball en moderne lakehouse‑architecturen
• SQL, Python en PySpark zijn jouw krachtigste tools om data te structureren, transformeren en optimaliseren
• Ervaring met een cloudplatform (bij voorkeur Azure, met ADLS en Azure Data Factory) en tools als dbt is een sterke troef
• Een certificering als Databricks Certified Data Engineer Associate of Professional is een plus, of je bent bereid ze te behalen
• Je kan vlot schakelen tussen business en IT
• Je communiceert sterk in het Nederlands en Engels
• Je denkt in oplossingen, niet in problemen
• Je bent nieuwsgierig, leergierig en je deelt graag kennis
• Je hebt gevoel voor humor (dat helpt meer dan je denkt)

Waarom consultants voor EpicData kiezen

Omdat je impact maakt

Je werkt mee aan projecten die organisaties écht vooruithelpen. Geen eindeloze statusmeetings of rapporten voor in de schuif, maar oplossingen die dagdagelijks gebruikt worden.

Omdat je blijft groeien

Of je nu starter bent of expert: je krijgt ruimte om jezelf te ontwikkelen.

• Tweewekelijkse Lunch & Learns
• Driemaandelijkse Learning Labs
• Ieder jaar een eigen Personal Development Plan
• Tijd & budget om te leren, certificeren én experimenteren

Omdat AI geen buzzword is

Van analyse en development tot documentatie en klantinteractie: we gebruiken AI dagelijks om slimmer, s