About this role
Deine Mission
Du baust mit uns eine standardisierte Testing-Umgebung für unsere AI-Lösung auf – damit unser System zuverlässig, nachvollziehbar und messbar das tut, was es soll. Du arbeitest eng mit dem Engineering- und Product-Team zusammen und wirst dabei vom AI Engineering Lead begleitet.
Aufgaben Deine Aufgaben
Testing-Infrastruktur mitgestalten – Aufbau und Pflege unserer Testumgebung für AI-Agenten (u. a. mit PyTest und OpenTelemetry) Modell-Unternehmen entwickeln – realistische Beispiel-Unternehmen in unserer Datenbank (PostgreSQL) anlegen, die echte Kundensituationen widerspiegeln und belastbare Testszenarien ermöglichen Qualitätssicherung – gewünschtes und ungewünschtes Systemverhalten unserer AI-Agenten (LangGraph / LangChain) und RAG-Pipeline (Weaviate) systematisch aufdecken und nachvollziehbar machen Evaluation Suite aufbauen – erwartetes Systemverhalten gemeinsam mit dem Product-Team definieren und in automatisierte Tests umsetzen – inkl. Vergleich verschiedener LLM-Anbieter und Modelle
Qualifikation Das bringst du mit
Must-haves:
Laufendes Studium (z. B. AI/ML, Informatik, Kognitionswissenschaften o. Ä.) Grundlegende Programmierkenntnisse – du kannst Code lesen und verstehen Grundverständnis von generativer KI (LLMs, Prompting, typische Stärken und Schwächen) Strukturiertes, analytisches Denken Sehr gute Englischkenntnisse (Arbeitssprache); gute Deutschkenntnisse (verhandlungssicher, fließend, Muttersprache)
Nice-to-have:
Erste Erfahrung mit Python und/oder Testing-Frameworks Interesse an oder Erfahrung mit RAG-Systemen, Prompt Engineering oder LLM-Evaluation
Benefits Was dich bei uns erwartet
Echte Ownership – deine Tests haben direkten Einfluss auf die Produktqualität Lernen im Team – du arbeitest direkt mit Product und Engineering zusammen und wirst vom AI Engineering Lead begleitet Internationales Umfeld – ein Team mit Eigenverantwortung und AI-First-Mindset Flexibilität – 20 h/Woche, frei einteilbar, remote-friendly Perspektive – Möglichkeit, deine Abschlussarbeit thematisch an deine Arbeit bei uns anzuknüpfen, und Chance, mit uns zu wachsen
Schick uns deinen Lebenslauf und ein paar Sätze dazu, warum dich AI-Testing interessiert. Optional: Projekte oder Code-Beispiele.