Medior AI Engineer – LLMOps

Ce que vous ferez

Une entreprise belge de transport public construit des services IA destinés aux employés et aux clients sur une plateforme IA fonctionnant sur Azure et Kubernetes. Les premiers services seront mis en ligne en décembre 2026, d'autres suivront en 2027. Vous rejoindrez le Centre d'Excellence IA et serez responsable de la phase Run de ces services IA en production.

Vous reprendrez chaque service des Senior AI Engineers qui l'ont construit et le maintiendrez fiable, mesuré, sécurisé et rentable dans le temps. Vous travaillerez aux côtés de l'AI Platform Architect interne, de deux Senior AI Engineers, des responsables métier et de contenu de chaque service, ainsi que des équipes d'exploitation IT.

La plateforme IA fonctionne sur un modèle d'exploitation hybride : services Azure managés (Azure OpenAI Service, Azure AI Search, Azure API Management, Azure AI Content Safety) combinés à des composants open source auto-hébergés sur Azure Kubernetes Service (orchestration d'agents en Python avec LangChain, pipeline d'ingestion), avec MLflow sur Databricks pour l'évaluation et le traçage (OpenTelemetry). L'équipe du Centre d'Excellence IA possède l'Infrastructure-as-Code pour toutes les ressources Azure au niveau applicatif, en utilisant Terraform et les pipelines Azure DevOps.

Vos activités varieront d'un service à l'autre. Typiquement, vous allez :

• Exploiter les services IA en production : surveiller la disponibilité, la latence et les erreurs, traiter les incidents et les demandes de service, analyser les causes racines, puis corriger ou escalader
• Maintenir la qualité des réponses sous contrôle : exécuter et maintenir des jeux d'évaluation (golden sets) avec les responsables de contenu métier, suivre la qualité des réponses, le taux de non-réponse et les retours utilisateurs, et détecter et investiguer les régressions de qualité
• Exploiter les pipelines d'ingestion : rafraîchissement incrémental, documents en échec, santé de l'index, et intégration de nouvelles sources de contenu ou domaines métier dans les connecteurs existants
• Exploiter les intégrations d'agents : surveiller les appels d'outils et d'intégrations vers les systèmes métier, traiter les échecs et les timeouts, et examiner les journaux d'actions et les exceptions pour les agents qui agissent au nom des utilisateurs
• Gérer les changements en toute sécurité : mises à niveau et retraits de versions de modèles, modifications de prompts et de configuration, mises à jour de dépendances et de sécurité, chacune validée par rapport aux jeux d'évaluation avant déploiement
• Suivre les coûts d'exploitation : consommation de tokens et coût par service, alertes en cas de dérive et proposition d'optimisations
• Maintenir les artefacts Terraform, Helm et Azure DevOps, et garder les environnements DEV, TST, ACC et PROD cohérents
• Appliquer les règles de protection des données : rétention des traces, effacement et restrictions d'accès, tels que définis dans l'analyse d'impact sur la protection des données de chaque service
• Maintenir les runbooks et la documentation, et rapporter régulièrement l'état de santé des services aux responsables de service et au Centre d'Excellence IA
• Livrer de petites améliorations et corrections : les changements structurels et les nouvelles fonctionnalités restent avec l'équipe Build

Ce que nous recherchons

Vous avez une expérience de niveau intermédiaire avec les technologies suivantes, toutes acquises cette année ou récemment :

• Azure DevOps
• Azure Kubernetes Service (AKS)
• Azure OpenAI Service
• LangChain
• LLM / Large Language Models
• Python
• RAG (Retrieval-Augmented Generation)
• Terraform
• Bases de données vectorielles

Vous devez pouvoir répondre oui aux questions suivantes et fournir des exemples détaillés :

• Avez-vous personnellement exploité ou supporté une application LLM (RAG, agent ou traitement de documents) en production pendant au moins 6 mois ?
• Avez-vous personnellement investigué un problème de qualité ou un incident dans une application LLM ou un agent IA en utilisant des traces ou des logs ?
• Avez-vous exécuté ou maintenu des évaluations d'une application LLM, par exemple en réexécutant des jeux de tests après un changement de modèle ou de prompt ?
• Avez-vous personnellement déployé des modifications sur des workloads Kubernetes (manifests ou Helm charts) et du code Terraform via des pipelines CI/CD sur Azure ?

Vous parlez couramment anglais et êtes natif ou bilingue en néerlandais ou en français.

Le contexte

Cette mission dure 12 mois, avec un démarrage le 4 janvier 2027. Le travail est hybride, avec une présence sur site à Bruxelles requise 2 à 3 jours par semaine.

Vous