Medior AI Engineer – LLMOps

Wat je zal doen

Een Belgisch openbaarvervoerbedrijf bouwt AI-diensten voor medewerkers en klanten op een AI-platform dat draait op Azure en Kubernetes. De eerste diensten gaan live in december 2026, met meer in 2027. Je sluit je aan bij het AI Centre of Excellence en bent verantwoordelijk voor de Run-fase van deze AI-diensten in productie.

Je neemt elke dienst over van de Senior AI Engineers die hem hebben gebouwd en houdt hem betrouwbaar, meetbaar, veilig en kostenefficiënt in de tijd. Je werkt samen met de interne AI Platform Architect, twee Senior AI Engineers, de business- en content-eigenaren van elke dienst, en de IT-operationele teams.

Het AI Platform draait op een hybride bedrijfsmodel: beheerde Azure-diensten (Azure OpenAI Service, Azure AI Search, Azure API Management, Azure AI Content Safety) gecombineerd met zelf-gehoste open-source componenten op Azure Kubernetes Service (agent-orkestratie in Python met LangChain, ingestion pipeline), met MLflow op Databricks voor evaluatie en tracing (OpenTelemetry). Het AI Centre of Excellence team beheert Infrastructure-as-Code voor alle applicatie-scope Azure-resources, met Terraform en Azure DevOps pipelines.

Je activiteiten variëren van dienst tot dienst. Typisch zal je:

• De AI-diensten in productie beheren: beschikbaarheid, latency en fouten monitoren, incidenten en serviceverzoeken behandelen, root causes analyseren en vervolgens oplossen of escaleren
• Antwoordkwaliteit onder controle houden: evaluatiesets (golden sets) uitvoeren en onderhouden met business content-eigenaren, antwoordkwaliteit, non-answer rate en gebruikersfeedback opvolgen, en kwaliteitsregressies detecteren en onderzoeken
• De ingestion pipelines beheren: incrementele refresh, mislukte documenten, index health, en onboarding van nieuwe contentbronnen of businessdomeinen binnen bestaande connectors
• Agent-integraties beheren: tool- en integratieoproepen naar businesssystemen monitoren, failures en timeouts behandelen, en action logs en exceptions reviewen voor agents die namens gebruikers handelen
• Veranderingen veilig beheren: model version upgrades en retirements, prompt- en configuratiewijzigingen, dependency- en security-updates, elk gevalideerd tegen de evaluatiesets voor release
• Run-kosten opvolgen: tokenconsumptie en kost per dienst, alerting bij drift en optimalisaties voorstellen
• De Terraform-, Helm- en Azure DevOps-artefacten onderhouden, en de DEV-, TST-, ACC- en PROD-omgevingen consistent houden
• Databeschermingsregels toepassen: trace retention, verwijdering en toegangsbeperkingen, zoals gedefinieerd in de data protection impact assessment van elke dienst
• Runbooks en documentatie onderhouden, en regelmatig rapporteren over service health aan service-eigenaren en het AI Centre of Excellence
• Kleine verbeteringen en fixes leveren, structurele wijzigingen en nieuwe features blijven bij het Build-team

Wat we zoeken

Je hebt ervaring op intermediair niveau met de volgende technologieën, allemaal opgedaan dit jaar of recent:

• Azure DevOps
• Azure Kubernetes Service (AKS)
• Azure OpenAI Service
• LangChain
• LLM / Large Language Models
• Python
• RAG (Retrieval-Augmented Generation)
• Terraform
• Vector databases

Je moet de volgende vragen met ja kunnen beantwoorden en gedetailleerde voorbeelden kunnen geven:

• Heb je persoonlijk een LLM-applicatie (RAG, agent of documentverwerking) in productie beheerd of ondersteund gedurende minstens 6 maanden?
• Heb je persoonlijk een kwaliteitsprobleem of incident in een LLM-applicatie of AI-agent onderzocht met behulp van traces of logs?
• Heb je evaluaties van een LLM-applicatie uitgevoerd of onderhouden, bijvoorbeeld het opnieuw uitvoeren van testsets na een model- of promptwijziging?
• Heb je persoonlijk wijzigingen aan Kubernetes workloads (manifests of Helm charts) en Terraform-code uitgerold via CI/CD pipelines op Azure?

Je bent vloeiend in het Engels en native of tweetalig in het Nederlands of Frans.

De context

Deze opdracht loopt 12 maanden, met start op 4 januari 2027. Het werk is hybride, met on-site aanwezigheid in Brussel vereist 2 tot 3 dagen per week.

Je kunt deze opdracht uitvoeren als freelancer of als medewerker in loondienst bij HumanInTech. Dezelfde rol, hetzelfde team. Kom je bij ons in loondienst, dan loopt je dienstverband door na deze opdracht. Wanneer de opdracht eindigt, zoeken we samen naar je volgende missie.

Locatie: Brussel, hybride

Werkadres: België

Werkgever / contractpartij: HumanInTech

Solliciteren tot (Brusselse tijd): 16 november 2026 om 01:00

Samenwerkingsvorm: Freelance or in loondienst bij HumanInTech

Werkregime: Voltijds

Er