Medior AI Engineer – LLMOps

h3Was Sie tun werden /h3pEin belgisches Verkehrsunternehmen baut mitarbeiter
- und kundenorientierte AI-Services auf einer AI-Plattform auf, die auf Azure und Kubernetes läuft. Die ersten Services gehen im Dezember 2026 live, weitere folgen 2027. Sie werden dem AI Centre of Excellence beitreten und die Run-Phase dieser AI-Services in der Produktion verantworten. /ppSie übernehmen jeden Service von den Senior AI Engineers, die ihn entwickelt haben, und halten ihn langfristig zuverlässig, messbar, sicher und kosteneffizient. Sie arbeiten eng mit dem internen AI Platform Architect, zwei Senior AI Engineers, den Business
- und Content-Ownern der einzelnen Services sowie den IT-Operations-Teams zusammen. /ppDie AI-Plattform läuft auf einem hybriden Betriebsmodell: verwaltete Azure-Services (Azure OpenAI Service, Azure AI Search, Azure API Management, Azure AI Content Safety) kombiniert mit selbst gehosteten Open-Source-Komponenten auf Azure Kubernetes Service (Agent-Orchestrierung in Python mit LangChain, Ingestion-Pipeline), mit MLflow auf Databricks für Evaluation und Tracing (OpenTelemetry). Das AI Centre of Excellence Team verantwortet Infrastructure-as-Code für alle anwendungsbezogenen Azure-Ressourcen, unter Verwendung von Terraform und Azure DevOps Pipelines. /ppIhre Tätigkeiten variieren von Service zu Service. Typischerweise werden Sie: /pulliDie AI-Services in der Produktion betreiben: Verfügbarkeit, Latenz und Fehler überwachen, Incidents und Service Requests bearbeiten, Root Causes analysieren und dann beheben oder eskalieren /liliDie Antwortqualität unter Kontrolle halten: Evaluation-Sets (Golden Sets) mit Business-Content-Ownern ausführen und pflegen, Antwortqualität, Non-Answer-Rate und User-Feedback tracken sowie Quality Regressions erkennen und untersuchen /liliDie Ingestion-Pipelines betreiben: inkrementelle Aktualisierung, fehlgeschlagene Dokumente, Index-Health und Onboarding neuer Content-Quellen oder Business-Domains innerhalb bestehender Connectoren /liliAgent-Integrationen betreiben: Tool
- und Integrationsaufrufe an Business-Systeme überwachen, Fehler und Timeouts bearbeiten sowie Action-Logs und Exceptions für Agents prüfen, die im Namen von Benutzern handeln /liliÄnderungen sicher verwalten: Modellversions-Upgrades und -Stilllegungen, Prompt
- und Konfigurationsänderungen, Dependency
- und Security-Updates, jeweils validiert gegen die Evaluation-Sets vor dem Release /liliRun-Kosten verfolgen: Token-Verbrauch und Kosten pro Service, Alerting bei Abweichungen und Vorschläge für Optimierungen /liliDie Terraform-, Helm
- und Azure DevOps-Artefakte pflegen und die DEV-, TST-, ACC
- und PROD-Umgebungen konsistent halten /liliDatenschutzregeln anwenden: Trace-Retention, Löschung und Zugriffsbeschränkungen, wie in der Datenschutz-Folgenabschätzung jedes Services definiert /liliRunbooks und Dokumentation pflegen und regelmäßig Service-Health an Service-Owner und das AI Centre of Excellence berichten /liliKleine Erweiterungen und Fixes umsetzen, strukturelle Änderungen und neue Features bleiben beim Build-Team /li /ulh3Was wir suchen /h3pSie verfügen über Erfahrung auf mittlerem Niveau mit den folgenden Technologien, alle in diesem Jahr oder kürzlich erworben: /pulliAzure DevOps /liliAzure Kubernetes Service (AKS) /liliAzure OpenAI Service /liliLangChain /liliLLM / Large Language Models /liliPython /liliRAG (Retrieval-Augmented Generation) /liliTerraform /liliVector Databases /li /ulpSie müssen die folgenden Fragen mit Ja beantworten können und detaillierte Beispiele liefern: /pulliHaben Sie persönlich eine LLM-Anwendung (RAG, Agent oder Dokumentenverarbeitung) mindestens 6 Monate lang in der Produktion betrieben oder unterstützt? /liliHaben Sie persönlich ein Qualitätsproblem oder einen Incident in einer LLM-Anwendung oder einem AI-Agent mithilfe von Traces oder Logs untersucht? /liliHaben Sie Evaluations einer LLM-Anwendung ausgeführt oder gepflegt, zum Beispiel Test-Sets nach einer Modell
- oder Prompt-Änderung erneut ausgeführt? /liliHaben Sie persönlich Änderungen an Kubernetes-Workloads (Manifests oder Helm Charts) und Terraform-Code über CI/CD-Pipelines auf Azure deployed? /li /ulpSie beherrschen Englisch fließend und sind Muttersprachler oder zweisprachig in Niederländisch oder Französisch. /ph3Der Rahmen /h3pDieser Einsatz läuft über 12 Monate und beginnt am 4. Januar 2027. Die Arbeit ist hybrid, mit erforderlicher Präsenz vor Ort in Brüssel an 2 bis 3 Tagen pro Woche. /ppSie können diesen Einsatz freiberuflich oder als Mitarbeiter von HumanInTech übernehmen. Gleiche Rolle, gleiches Team. Wenn Sie bei uns angestellt sind, besteht Ihr Arbeitsverhältnis über diesen Einsatz hinaus fort. Nach dessen Ende suchen wir gemeinsam nach Ihrem nächsten Einsatz. /ppbStandort: /b Brüssel, hybrid /ppbArbeitsadresse: /b Belgien /ppbArbeitgeber / Vertragspartner: /b HumanInTech /ppbBewerbungsfrist (Brüsseler Zeit): /b 16. November 2026 um 01:00 /ppbZusammenarbeitsform: /b Freiberuflich oder bei HumanInTech ange