Pyspark Developer

Wat is je opdracht?

In eerste instantie neem jij de ontwikkeling en het beheer van een holistisch Modern Data Platform gebouwd in de Microsoft Azure Cloud voor je rekening.

Bovendien ben jij als IT Custodian een belangrijke speler in het Data Platform team. Je bent verantwoordelijk voor de ontwikkeling, de implementatie en de technische optimalisering van de big data pipeline die het platform bevat.

Een woordje over de Nationale Loterij

Al ruim 90 jaar zorgt de Nationale Loterij voor veilig speelplezier voor alle Belgen ouder dan 18 jaar. Dankzij het vertrouwen van al haar spelers boekte de Nationale Loterij in 2023 een omzet van 1,49 miljard euro. Dankzij de kleine inzetbedragen van veel spelers kan de Nationale Loterij elk jaar zo'n 345 miljoen euro laten terugvloeien naar de Belgische samenleving. Talrijke waardevolle projecten en verenigingen krijgen op die manier de steun die ze nodig hebben om het verschil te maken.

Samen met de Business zorgde onze IT-afdeling voor recordresultaten waar we terecht trots op mogen zijn:

470 miljoen e-commercetransacties, met een maximumpiek van bijna 8000 transacties/min,

100% beschikbaarheid van de core drawing/gaming engines,

99,98% beschikbaarheid van de kanalen,

Het IT-departement is het kloppend hart van de Nationale Loterij dat nauw samenwerkt met de hele organisatie om onze spelers 7 dagen op 7 de beste spelervaring te laten beleven in een veilige omgeving en om te allen tijde onze onfeilbare reputatie hoog te houden. Onze miljoenen spelers, onze vele winnaars en de ontelbare goede doelen die we dagelijks voor meer dan 520.000 euro ondersteunen, rekenen daarop.

Binnen het Data Platform team ben je verantwoordelijk voor de volgende aspecten:

Je staat in voor het verwerken en het transformeren van gegevens. Met behulp van PySpark voer je de ETL-operaties uit vanuit de verschillende gegevensdatabanken van de Nationale Loterij.

Je werkt aan het nieuwe, moderne ontwerp van het dataplatform (medallion design) in nauwe samenwerking met de verantwoordelijke solution designer.

Je optimaliseert de Spark-taken met het oog op betere prestaties en je beheert de resource allocation.

Je maakt gegevensanalyses en modelleringen en je werkt samen met de Data Scientists om op grote schaal machine learningmodellen en algoritmes te ontwikkelen.

Hoe kun jij het verschil maken?

Je hebt een diploma Bachelor of Master of Science in een big data-gerelateerd domein met minstens 5 jaar ervaring in datapipelines en cloudtoepassingen. Bovendien heb je een goede kennis van Python.

Je hebt kennis van de volgende technologieën of concepten:

Apache Spark, Python, notebooks

DevOps azure CI/CD pipeline

Microsoft SQL of DBT

Azure Data Platform Stack, waaronder:

Synapse Analytics

Lakehouse

Fabrics

Semantic model

PBI

Ervaring met cloud computing, data engineering, big data processing, performance tuning

Architecture Azure Data Platform

Je bent gedreven en schrikt er niet voor terug om verantwoordelijkheid te nemen binnen een team. Je kunt zelfstandig werken, maar bent tegelijk ook een teamspeler.

Drie redenen waarom deze functie geknipt is voor jou:

+ Je bent een expert in Python, je hebt ervaring met Azure- en Fabrictechnologie en met de optimalisering en prestaties van datapipelines.

+ Je bent bekend met DevOps methodologie, want deze zul je toepassen in je dagelijkse taken.

+ Je bent van nature analytisch aangelegd en je lost graag moeilijke vraagstukken op.

Wat wij je aanbieden

Aandacht voor jou

We vinden het belangrijk dat jij het beste uit jezelf kan halen, maar ook dat we het beste uit elkaar kunnen halen. Jouw ontwikkeling bij de Nationale Loterij heb je in je eigen handen.

Een goed evenwicht tussen "werk" en "privéleven"

Bij de Nationale Loterij krijg je interessante aanvullingen op je arbeidsvoorwaarden, zoals 32 vakantiedagen, vlottende arbeidstijden binnen een werkweek van 37,5u, en de mogelijkheid om aan thuiswerk te doen.

Geld enzo

Werken bij de Nationale Loterij is een flinke uitdaging, en daar zetten wij uiteraard iets tegenover. Naast een marktconform salaris met bedrijfswagen ontvang je ook een jaarlijkse bonus, vakantiegeld, een eindejaarspremie, vergoedingen voor woon-werk-verplaatsingen, aanvullende verzekeringen, en nog meer.

---