Senior AI Platform Engineer - LLMOps (w/m/d)

Deine Mission:

Du sorgst dafür, dass unsere KI-Anwendungen geprüft und kontrolliert live gehen – und dort verlässlich bleiben. Mit automatischen Qualitätstests, sauberer Versionierung, schrittweisen Releases und durchgängigem Monitoring machst du aus vielversprechenden KI-Lösungen verlässliche Produkte. 

Deine Perspektiven:

• Schlüsselrolle für Vertrauen: Ohne deine Qualitäts-Gates geht keine KI-Lösung live


• Plattformdenken: Du baust geteilte Dienste, die alle KI-Lösungen nutzen


• State of the Art: eval-gated CI/CD, Canary-Releases und Observability für Sprachmodelle


• Moderner Stack: Microsoft Azure, TypeScript/Node.js, Python und moderne Eval- und Observability-Werkzeuge


• Gestaltungsspielraum: Du setzt die Qualitätsstandards für KI bei Apleona 

Welche Aufgaben kommen auf Dich zu:

• Verantwortung für die Release-Einheit einer KI-Anwendung: Prompts, Modellversion, Retrieval-Index, Tools, Guardrails und Policies


• Evaluations-Harness aufbauen: Referenzfälle, Metriken und Quality Gates


• Eval-gated CI/CD, Versionierung und gestufte Rollouts mit Canary und Rollback


• End-to-end-Observability: Tracing, Latenz und Kosten


• Geteilte Plattformdienste entwickeln und betreiben – in gemeinsamer Rufbereitschaft mit dem IT-Plattformbetrieb 

Was Du mitbringen solltest:

• Mindestens 5 Jahre Softwareentwicklung, davon Erfahrung mit Sprachmodell-Anwendungen im Live-Betrieb


• Du hast automatische Test- und Freigabeprozesse (CI/CD) selbst aufgebaut, nicht nur genutzt


• Du hast Monitoring für Live-Anwendungen eingerichtet (Fehler, Antwortzeiten, Kosten)


• Backend-Entwicklung in TypeScript/Node.js und Python


• Praxis auf einer großen Cloud (Azure bevorzugt, AWS oder Google Cloud) und Nähe zu DevOps/SRE


• Englisch fließend, Deutsch von Vorteil


• Nice to have: Guardrail- und Security-Design (Prompt Injection, Content Safety, Red Teaming), FinOps für Modellkosten (Token-Budgets, Modell-Routing), Azure AI Foundry Evaluation, Tools wie promptfoo, Ragas, Langfuse oder OpenTelemetry, Terraform, GitHub Actions


• Ein Plus: KI-Betrieb mit Audit- und Compliance-Anforderungen (z. B. EU AI Act, ISO 27001), Plattformbetrieb mit mehreren tausend Nutzern im Konzern