Medior AI Engineer – LLMOps

Il y a 4 heures

Laeken, Brussels, Belgique Collective.work Temps plein

Description du poste

Localisation : Bruxelles, Belgique
Présence sur site : 2 à 3 jours par semaine
Date de démarrage : 04/01/2027
Durée : 12 mois
Régime : Temps plein

1. Contexte de la mission

Dans le cadre du développement et de l'industrialisation de solutions d'intelligence artificielle, nous recherchons un Medior AI Engineer spécialisé en LLMOps, pour intervenir sur l'exploitation et le maintien en conditions opérationnelles d'applications IA en production.

Les solutions concernées couvrent plusieurs cas d'usage :

  • Assistants intelligents reposant sur des architectures RAG (Retrieval-Augmented Generation).

  • Agents IA capables d'interagir avec des outils et des systèmes métier.

  • Applications exploitant les grands modèles de langage (LLM) pour automatiser et optimiser les processus métier.

L'environnement technique repose sur une architecture hybride combinant les services managés Microsoft Azure et des composants open source déployés sur Kubernetes.

Vous intégrerez une équipe pluridisciplinaire composée d'ingénieurs IA, d'un architecte technique, d'équipes IT opérationnelles et d'interlocuteurs métier.

Votre rôle sera principalement orienté Run et LLMOps, avec pour objectif de garantir la disponibilité, la fiabilité, la sécurité, la qualité et la maîtrise des coûts des applications IA en production.

Profil recherché

2. Responsabilités et activités

Exploitation et supervision des applications IA

  • Assurer le maintien en conditions opérationnelles des applications IA déployées en production.

  • Surveiller la disponibilité, les performances, la latence et les taux d'erreur des services.

  • Analyser et traiter les incidents techniques, identifier les causes racines et mettre en œuvre les actions correctives.

  • Gérer les demandes de service et assurer l'escalade des incidents lorsque nécessaire.

Monitoring et qualité des solutions LLM / RAG

  • Surveiller la qualité et la pertinence des réponses générées par les modèles de langage.

  • Maintenir et exécuter des jeux de tests et des jeux de données de référence (Golden Datasets).

  • Suivre les indicateurs de qualité : pertinence des réponses, taux de non-réponse, retours utilisateurs et détection des régressions.

  • Analyser les logs et les traces afin d'identifier les dysfonctionnements des applications LLM et des agents IA.

  • Participer à l'évaluation des modèles et des prompts avant leur mise en production.

Exploitation des pipelines RAG et des agents IA

  • Assurer le suivi des pipelines d'ingestion et d'indexation des documents.

  • Surveiller les traitements d'ingestion incrémentale, les erreurs documentaires et l'état des index.

  • Participer à l'intégration de nouvelles sources documentaires au sein des connecteurs existants.

  • Superviser les appels aux outils et les intégrations entre les agents IA et les systèmes métier.

  • Analyser les erreurs d'exécution, les exceptions et les problèmes de timeout des agents.

LLMOps, CI/CD et gestion des évolutions

  • Gérer les mises à jour des modèles, des prompts, des configurations et des dépendances.

  • Valider les changements à travers des tests d'évaluation avant leur déploiement.

  • Participer au déploiement et à la maintenance des workloads Kubernetes via Helm.

  • Maintenir les configurations Infrastructure as Code avec Terraform.

  • Contribuer à la gestion des pipelines CI/CD avec Azure DevOps.

  • Veiller à la cohérence des différents environnements : DEV, TST, ACC et PROD.

Sécurité, optimisation des coûts et documentation

  • Suivre la consommation des tokens et les coûts d'exploitation des services IA.

  • Identifier les dérives de consommation et proposer des optimisations.

  • Appliquer les règles de sécurité, de protection des données et de gestion des traces.

  • Maintenir les procédures d'exploitation (Runbooks) et la documentation technique.

  • Prod