About this role
Wir sind Bertrandt. Ein eigenständiger und internationaler Engineering Dienstleister mit langjähriger Expertise. Mit branchenübergreifendem Know-how und einem ganzheitlichen System- und Produktverständnis schaffen wir technologische Lösungen entlang der gesamten Wertschöpfungskette. Wir beschäftigen uns mit den Trendthemen Digitalisierung, E-Mobilität und Autonome Systeme hauptsächlich für die Branchen Automotive, Luftfahrt, Defence und Maschinenbau und ermöglichen hier konsequent die Entstehung passgenauer Lösungen. Unser Ziel: den technologischen Fortschritt beschleunigen und einen relevanten Beitrag zu einer nachhaltigen Zukunft leisten. Daran arbeiten wir jeden Tag – mit rund 12.000 Mitarbeiterinnen und Mitarbeitern an über 50 Standorten weltweit. Was Sie erwartet Durchführung, Planung und Dokumentation von Tests für Large Language Models (LLMs) Analyse, Bewertung und Optimierung der Modellperformance (Qualität, Robustheit, Halluzinationen, Bias, Antwortkonsistenz) Integration, Konfiguration und Validierung von KI‑Tools innerhalb einer MCP‑Server‑Architektur Unterstützung bei der Anbindung externer Services und Tools (z. B. Search, Retrieval, APIs) an LLM‑basierte Systeme Mitarbeit bei der Weiterentwicklung von KI‑Infrastrukturen, Toolchains und Testframeworks Enge Zusammenarbeit mit Entwicklung, Architektur, Produktmanagement und Qualitätssicherung Dokumentation von Testergebnissen, Schnittstellen und technischen Konzepten Identifikation von Optimierungs‑ und Automatisierungspotenzialen im KI‑Umfeld Was Sie mitbringen Mehrjährige praktische Erfahrung im Umgang mit Large Language Models (z. B. GPT‑basierte Modelle, Open‑Source‑LLMs) Fundierte Erfahrung in LLM‑Tests, insbesondere in den Bereichen Functional Testing, Prompt‑Evaluation, Regression‑ und Performance‑Tests Nachweisliche Erfahrung in der Integration von Tools in MCP‑Server‑Umgebungen oder vergleichbaren KI‑/Agenten‑Architekturen Sehr gutes Verständnis von API‑Schnittstellen, Service‑Integration und Client‑Server‑Architekturen Erfahrung im Umgang mit KI‑Pipeline‑ oder Orchestrierungs‑Ansätzen Kenntnisse in Testmethoden, Qualitätssicherung und technischer Dokumentation im KI‑Kontext Sehr gute Programmierkenntnisse (z. B. Python) Erfahrung mit Tool‑Anbindung, Plugin‑ oder Agent‑Mechanismen für LLMs Idealerweise Kenntnisse in Prompt Engineering, Retrieval‑Augmented Generation (RAG) und Evaluationstechniken Sicherer Umgang mit Entwicklungs‑ und Kollaborationstools Verständnis moderner KI‑Infrastrukturen (Cloud‑, Container‑ oder Server‑basierte Umgebungen von Vorteil) Analytische und strukturierte Arbeitsweise Hohe Lösungs‑ und Ergebnisorientierung Selbstständiges Arbeiten sowie ausgeprägte Teamfähigkeit Technische Neugier und hohe Lernbereitschaft im dynamischen KI‑Umfeld Sehr gute Kommunikationsfähigkeit gegenüber technischen und nicht‑technischen Stakeholdern Sehr gute Deutschkenntnisse Christophe Klein 07034-65612448