AI Ops Engineer (m/w/d), vollständig ortsunabhängig in Deutschland

Anstellung: Vollzeit
Erfahrung: 4+ Jahre in DevOps oder MLOps
Bewerbung: ein Online-Formular, Link unten

Für wen Sie arbeiten
Mit diesem AI Ops Engineer Job kommen Sie zu Insight42 mit Sitz in Ingolstadt, geführt von Gründer Martin-Peter Lambert. Das Unternehmen erhielt den German Innovation Award für dezentrale, risikoeliminierende Architekturen. Ihr Team macht aus Cloud-Engineering, MLOps und generativer KI sichere, resiliente Systeme für europäische Kunden.

Woran Sie arbeiten
Sie konzipieren und betreiben die Infrastruktur hinter den GenAI- und Large-Language-Model-(LLM)-Workloads von Insight42. Sie entwerfen selbstgehostete GenAI-Umgebungen, optimieren die GPU-/CPU-Orchestrierung auf Leistung und Kosten und automatisieren das Modell-Deployment über Edge- und Cloud-Systeme hinweg.

Ihre Aufgaben

  • Selbstgehostete GenAI-Modell-Deployments in sicheren Cloud-Umgebungen konzipieren und pflegen
  • Abläufe für den Lebenszyklus von KI-Modellen aufbauen und automatisieren (Training, Tuning und Versionierung)
  • Observability und Zuverlässigkeit in KI-Workloads einbauen
  • Mit MLOps-, DevOps- und Datenteams zusammenarbeiten, um die Infrastruktur an den Modellanforderungen auszurichten
  • Modelle in agentische Frameworks und Ökosysteme autonomer Systeme integrieren
  • Infrastruktur für Performance, Kosteneffizienz und Skalierbarkeit optimieren
  • CI/CD- und GitOps-Praktiken für die Auslieferung von KI- und ML-Systemen etablieren

Was Sie mitbringen

  • 4+ Jahre Erfahrung in DevOps, MLOps oder KI-Infrastruktur-Engineering
  • Praktische Erfahrung im Deployment selbstgehosteter GenAI-Modelle (LLMs, multimodale oder Diffusionsmodelle)
  • Fundiertes Verständnis von Containerisierung, Microservices und Orchestrierung (Docker, Kubernetes)
  • Vertrautheit mit agentischen Ökosystemen, KI-Orchestrierungs-Frameworks und Vektordatenbanken
  • Kenntnisse in GPU-Orchestrierung, verteilter Inferenz oder On-Prem-KI-Serving
  • Solide Programmier- und Automatisierungskenntnisse (Python, Bash oder Go)
  • Cloud-Erfahrung mit Azure, GCP oder hybriden Infrastrukturen
  • Fließende Kommunikation auf Englisch; Deutsch ist ein Plus

Wünschenswert

  • Erfahrung mit Open-Source-KI-Frameworks (Ollama, vLLM, FastAPI, LangChain, Haystack)
  • Verständnis von KI-Observability- und Monitoring-Tools
  • Erfahrung mit Modellkompression, Quantisierung und Inferenzoptimierung
  • Bewusstsein für Datenschutz, Sicherheit und Compliance in KI-Systemen

Was Sie bekommen

  • Kein Pendeln, kein Umzug: Arbeiten von überall in Deutschland
  • Wettbewerbsfähiges Gehalt und leistungsbezogene Anreize
  • KI-Infrastruktur im großen Maßstab aufbauen, betreiben und Ihre Expertise ausbauen
  • Ein kollaboratives Team mit eigenen Produkten wie Secretary42
Als AI Ops Engineer bewerben