Medior AI Engineer – LLMOps

Was Sie tun werden

Ein belgisches Verkehrsunternehmen baut mitarbeiter- und kundenorientierte AI-Services auf einer AI-Plattform auf, die auf Azure und Kubernetes läuft. Die ersten Services gehen im Dezember 2026 live, weitere folgen 2027. Sie werden dem AI Centre of Excellence beitreten und die Run-Phase dieser AI-Services in der Produktion verantworten.

Sie übernehmen jeden Service von den Senior AI Engineers, die ihn entwickelt haben, und halten ihn langfristig zuverlässig, messbar, sicher und kosteneffizient. Sie arbeiten eng mit dem internen AI Platform Architect, zwei Senior AI Engineers, den Business- und Content-Ownern der einzelnen Services sowie den IT-Operations-Teams zusammen.

Die AI-Plattform läuft auf einem hybriden Betriebsmodell: verwaltete Azure-Services (Azure OpenAI Service, Azure AI Search, Azure API Management, Azure AI Content Safety) kombiniert mit selbst gehosteten Open-Source-Komponenten auf Azure Kubernetes Service (Agent-Orchestrierung in Python mit LangChain, Ingestion-Pipeline), mit MLflow auf Databricks für Evaluation und Tracing (OpenTelemetry). Das AI Centre of Excellence Team verantwortet Infrastructure-as-Code für alle anwendungsbezogenen Azure-Ressourcen, unter Verwendung von Terraform und Azure DevOps Pipelines.

Ihre Tätigkeiten variieren von Service zu Service. Typischerweise werden Sie:

• Die AI-Services in der Produktion betreiben: Verfügbarkeit, Latenz und Fehler überwachen, Incidents und Service Requests bearbeiten, Root Causes analysieren und dann beheben oder eskalieren
• Die Antwortqualität unter Kontrolle halten: Evaluation-Sets (Golden Sets) mit Business-Content-Ownern ausführen und pflegen, Antwortqualität, Non-Answer-Rate und User-Feedback tracken sowie Quality Regressions erkennen und untersuchen
• Die Ingestion-Pipelines betreiben: inkrementelle Aktualisierung, fehlgeschlagene Dokumente, Index-Health und Onboarding neuer Content-Quellen oder Business-Domains innerhalb bestehender Connectoren
• Agent-Integrationen betreiben: Tool- und Integrationsaufrufe an Business-Systeme überwachen, Fehler und Timeouts bearbeiten sowie Action-Logs und Exceptions für Agents prüfen, die im Namen von Benutzern handeln
• Änderungen sicher verwalten: Modellversions-Upgrades und -Stilllegungen, Prompt- und Konfigurationsänderungen, Dependency- und Security-Updates, jeweils validiert gegen die Evaluation-Sets vor dem Release
• Run-Kosten verfolgen: Token-Verbrauch und Kosten pro Service, Alerting bei Abweichungen und Vorschläge für Optimierungen
• Die Terraform-, Helm- und Azure DevOps-Artefakte pflegen und die DEV-, TST-, ACC- und PROD-Umgebungen konsistent halten
• Datenschutzregeln anwenden: Trace-Retention, Löschung und Zugriffsbeschränkungen, wie in der Datenschutz-Folgenabschätzung jedes Services definiert
• Runbooks und Dokumentation pflegen und regelmäßig Service-Health an Service-Owner und das AI Centre of Excellence berichten
• Kleine Erweiterungen und Fixes umsetzen, strukturelle Änderungen und neue Features bleiben beim Build-Team

Was wir suchen

Sie verfügen über Erfahrung auf mittlerem Niveau mit den folgenden Technologien, alle in diesem Jahr oder kürzlich erworben:

• Azure DevOps
• Azure Kubernetes Service (AKS)
• Azure OpenAI Service
• LangChain
• LLM / Large Language Models
• Python
• RAG (Retrieval-Augmented Generation)
• Terraform
• Vector Databases

Sie müssen die folgenden Fragen mit Ja beantworten können und detaillierte Beispiele liefern:

• Haben Sie persönlich eine LLM-Anwendung (RAG, Agent oder Dokumentenverarbeitung) mindestens 6 Monate lang in der Produktion betrieben oder unterstützt?
• Haben Sie persönlich ein Qualitätsproblem oder einen Incident in einer LLM-Anwendung oder einem AI-Agent mithilfe von Traces oder Logs untersucht?
• Haben Sie Evaluations einer LLM-Anwendung ausgeführt oder gepflegt, zum Beispiel Test-Sets nach einer Modell- oder Prompt-Änderung erneut ausgeführt?
• Haben Sie persönlich Änderungen an Kubernetes-Workloads (Manifests oder Helm Charts) und Terraform-Code über CI/CD-Pipelines auf Azure deployed?

Sie beherrschen Englisch fließend und sind Muttersprachler oder zweisprachig in Niederländisch oder Französisch.

Der Rahmen

Dieser Einsatz läuft über 12 Monate und beginnt am 4. Januar 2027. Die Arbeit ist hybrid, mit erforderlicher Präsenz vor Ort in Brüssel an 2 bis 3 Tagen pro Woche.

Sie können diesen Einsatz freiberuflich oder als Mitarbeiter von HumanInTech übernehmen. Gleiche Rolle, gleiches Team. Wenn Sie bei uns angestellt sind, besteht Ihr Arbeitsverhältnis über diesen Einsatz hinaus fort. Nach dessen Ende suchen wir gemeinsam nach Ihrem nächsten Einsatz.

Standort: Brüssel, hybrid

Arbeitsadresse: Belgien

Arbeitgeber / Vertragspartner: HumanInTech