About this role
Hintergrund und Motivation Parametereffiziente Finetuning-Adapter (PEFT-Adapter) sind ein hervorragendes Werkzeug, um mit wenigen Parametern neue Fähigkeiten in LLMs einzubringen. Durch ihre reduzierte Kapazität sind Adapter leichtgewichtig und daher schnell zu trainieren und zu verteilen, erzielen aber dennoch eine vergleichbare Performance wie ein vollständiges Finetuning. Mit Verfahren der Mechanistic Interpretability lassen sich gezielt Parameter in LLMs ausmachen, die für bestimmte Fähigkeiten des Netzes zuständig sind, beispielsweise für das Alignment.
Ziel der Arbeit ist es, diese Sicherheitsparameter mit PEFT-Adaptern im finalen Modell gezielt zu deaktivieren und so das Alignment auszuhebeln. Ziel Das Problem ist, dass sich durch die geringere Kapazität der Adapter Parameter nicht mehr gezielt maskieren lassen. Ziel ist es daher, die Adapter so zu beeinflussen, dass trotzdem ein Großteil der Sicherheitsneuronen verändert und das Alignment dadurch effektiv umgangen wird.
Ergebnisse Angestrebtes Ergebnis der Arbeit ist ein Vergleich der Effektivität von Adaptern mit verschiedenen Kapazitäten und Verfahren. Neben einem Proof of Concept soll dabei auch untersucht werden, welche Adapterkonfiguration am anfälligsten für einen solchen Angriff ist.
Hinweis Für eine Bachelorarbeit kann der Umfang reduziert werden, indem nur LoRA-Adapter betrachtet werden.
Hier sorgst Du für Veränderung Forschen und Implementieren von neuartigen Machine-Learning-Ansätzen, die die Sicherheit von LLMs steigern Selbstkritische Evaluierung der gefundenen Ergebnisse Präsentieren der Ergebnisse Anfertigen eines Projektberichts in Form einer Abschlussarbeit Hiermit bringst Du Dich ein Sehr gute Studienleistungen mit einer Durchschnittsnote von maximal 2,2 Kenntnisse im Bereich Machine Learning, darunter Training, Inferenz und Optimierung von Transformer-Architekturen Kenntnisse im Bereich KI-Sicherheit sind wünschenswert Gute Python-Kenntnisse sind zwingend erforderlich und werden im Interview geprüft Wissenschaftliches Interesse und Interesse an aktuellen Forschungsprojekten Was wir für Dich bereithalten Selbstständige Arbeitszeiteinteilung Einblicke in das Schnittfeld von akademischer Forschung und industrieller Anwendung Verwandte Arbeiten [1] https://arxiv.org/pdf/2404.09932 (relevante Abschnitte: 3.2, 3.4, 3.5) [2] https://arxiv.org/pdf/2504.14117 [3] https://aclanthology.org/anthology-files/anthology-files/pdf/findings/2025.findings-emnlp.1253.pdf Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.
Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.
Bereit für Veränderung? Dann bewirb Dich jetzt, und mach einen Unterschied! Nach Eingang Deiner Online-Bewerbung erhältst Du eine automatische Empfangsbestätigung. Dann melden wir uns schnellstmöglich und sagen Dir, wie es weitergeht. Fraunhofer-Institut für Sichere Informationstechnologie SIT www.sit.fraunhofer.de Kennziffer: 86083 Bewerbungsfrist: