About this role
Hintergrund und Motivation: Gesichtsbasierte Altersschätzung ist für zahlreiche Anwendungen relevant, beispielsweise für Identitätsprüfung, Jugendschutz oder medizinische Anwendungen. Das Training leistungsfähiger neuronaler Netze benötigt jedoch große und möglichst ausgewogene Datensätze mit zuverlässigen Altersangaben. Gerade für seltene Altersbereiche oder bestimmte Anwendungsszenarien stehen häufig nicht genügend geeignete reale Gesichtsbilder zur Verfügung. Generative Modelle wie StyleGANs oder moderne Diffusionsmodelle bieten die Möglichkeit, große Mengen synthetischer Gesichtsbilder gezielt zu erzeugen und bestehende Trainingsdatensätze anzureichern.
Erste eigene Experimente zeigen jedoch, dass eine solche Datenaugmentation nicht zwangsläufig zu einer deutlichen Verbesserung der Altersschätzung führt. Zwar konnten durch die Ergänzung realer Trainingsdaten mit synthetischen Gesichtsbildern teilweise geringfügige Verbesserungen des Mean Absolute Error (MAE) für die Altersschätzung erzielt werden, die beobachteten Effekte waren jedoch insgesamt klein. Eine mögliche Ursache ist vermutlich ein ausgeprägter Domain Shift zwischen realen und synthetischen Gesichtsbildern.
In Vorarbeiten konnte beispielsweise ein ResNet-Klassifikator reale und synthetische Bilder mit praktisch perfekter Genauigkeit unterscheiden. Dies deutet darauf hin, dass die generierten Bilder systematische Merkmale enthalten, anhand derer neuronale Netze ihre künstliche Herkunft erkennen können. Aus der Literatur ist ebenfalls bekannt, dass generative Modelle charakteristische statistische, spektrale oder strukturelle Artefakte beziehungsweise „Fingerprints“ in generierten Bildern hinterlassen können.
Für die Altersschätzung ist bislang jedoch weitgehend unklar, welche dieser Artefakte tatsächlich relevant sind und ob sie die Verwendung synthetischer Trainingsdaten beeinträchtigen. Eine zweite mögliche Ursache liegt in der Qualität der Altersangaben synthetischer Gesichtsbilder. Bei prompt-basierten Diffusionsmodellen muss das wahrgenommene Alter einer generierten Person beispielsweise nicht exakt dem im Prompt angegebenen Alter entsprechen. Auch bei spezialisierten GAN-basierten Verfahren zur Gesichtsgenerierung oder Altersmanipulation können Eigenschaften und Verzerrungen des Trainingsdatensatzes sowie des verwendeten Modells die erzeugte Altersverteilung beeinflussen.
Synthetische Gesichtsbilder könnten daher nicht nur einen visuellen Domain Shift, sondern gleichzeitig systematisches oder zufälliges Labelrauschen enthalten. Ziel der Masterarbeit: Ziel dieser Masterarbeit ist es, systematisch zu untersuchen, warum synthetische Gesichtsbilder beim Training von Modellen zur Altersschätzung bislang nur begrenzt von Nutzen sind. Insbesondere sollen Artefakte unterschiedlicher generativer Modelle identifiziert, ihr Einfluss auf Altersschätzungsmodelle analysiert und Verfahren zur Verringerung des Domain Shifts entwickelt werden.
Zusätzlich soll untersucht werden, wie zuverlässig die vorgegebenen Altersangaben synthetisch generierter Personen tatsächlich sind. Dazu sollen: Gesichtsbilder mit unterschiedlichen generativen Verfahren erzeugt und verglichen werden, beispielsweise mit StyleGAN-basierten Modellen und modernen Diffusions- beziehungsweise Text-to-Image-Modellen. Unterschiede zwischen realen und synthetischen Gesichtsbildern systematisch untersucht und quantifiziert werden. Hierzu können unter anderem Klassifikatoren zur Unterscheidung realer und synthetischer Bilder, Feature-Space-Analysen sowie Untersuchungen im Frequenzbereich eingesetzt werden.
Generatorspezifische und generatorübergreifende Artefakte identifiziert und untersucht werden. Dabei soll insbesondere analysiert werden, welche Merkmale neuronale Netze zur Unterscheidung realer und synthetischer Bilder verwenden. Der Zusammenhang zwischen diesen Artefakten und der Performance von Altersschätzungsmodellen untersucht werden. Hierzu sollen geeignete Ablationsstudien und kontrollierte Experimente entwickelt werden. Verfahren entwickelt oder evaluiert werden, mit denen sich relevante Artefakte aus synthetischen Gesichtsbildern reduzieren lassen.
Denkbar sind beispielsweise klassische Bildverarbeitung, Filterung im Frequenzraum, lernbasierte Verfahren oder Ansätze zur Domain Adaptation beziehungsweise Image-to-Image-Transformation. Untersucht werden, ob eine Reduktion der Unterschiede zwischen realen und synthetischen Bildern tatsächlich zu einer besseren Nutzung synthetischer Daten beim Training von Altersschätzungsmodellen führt. Die Qualität synthetischer Alterslabels untersucht werden. Insbesondere soll analysiert werden, wie gut das wahrgenommene Alter generierter Personen mit dem gewünschten beziehungsweise vorgegebenen Alter übereinstimmt und ob bestimmte Generatoren oder Altersbereiche systematische Abweichungen aufweisen.
Der Einfluss von fehlerhaften Alterslabels und visuellen Artefakten möglichst getrennt voneinander untersucht werden, um zu bestimmen, welcher Faktor die Verwendung synthetischer Daten stärker einschränkt. Aus den gewonnenen Erkenntnissen neue Strategien für die Generierung, Auswahl, Nachbearbeitung oder Gewichtung synthetischer Trainingsdaten entwickelt und evaluiert werden. Ergebnisse: Erwartet wird eine systematische Charakterisierung der Unterschiede zwischen realen und synthetischen Gesichtsbildern verschiedener generativer Modelle.
Die Arbeit soll aufzeigen, welche Artefakte beziehungsweise statistischen Eigenschaften die Unterscheidung synthetischer und realer Bilder ermöglichen und inwieweit diese Merkmale für Altersschätzungsmodelle relevant sind. Weiterhin sollen Verfahren zur Reduktion des Domain Shifts entwickelt oder untersucht und deren Auswirkungen auf das Training mit gemischten realen und synthetischen Datensätzen evaluiert werden. Dabei soll insbesondere geklärt werden, ob eine geringere Unterscheidbarkeit von realen und synthetischen Bildern auch mit einer verbesserten Generalisierung der Altersschätzungsmodelle einhergeht.
Ein weiterer Schwerpunkt liegt auf der Zuverlässigkeit synthetischer Alterslabels. Erwartet werden belastbare Aussagen darüber, wie genau unterschiedliche generative Verfahren gewünschte Altersangaben abbilden, in welchen Altersbereichen systematische Fehler auftreten, wie diese erkannt werden können und welchen Einfluss dieses Labelrauschen auf das Training besitzt. Die Arbeit soll daraus Leitlinien ableiten, wann und unter welchen Bedingungen synthetische Gesichtsbilder einen Mehrwert für die Altersschätzung liefern können und welche Voraussetzungen hierfür erfüllt sein müssen.
Die entwickelten Verfahren werden anhand frei verfügbarer Benchmark-Datensätze wie beispielsweise UTKFace, APPA-REAL, AgeDB oder IMDB-WIKI sowie geeigneter synthetisch generierter Datensätze wie beispielsweise HDA-SynChildFaces evaluiert. Hier sorgst Du für Veränderung Recherchieren und Strukturieren der Literatur zu aktuellen Themen aus den Bereichen Machine Learning, Computer Vision und generative Modelle Erzeugen und Analysieren synthetischer Gesichtsbilder mit modernen generativen Verfahren Forschen und Implementieren von Machine-Learning-, Computer-Vision- und Image-Forensics-Ansätzen Entwickeln geeigneter Methoden zur Analyse und Reduktion von Artefakten synthetischer Bilder Planung und Durchführung kontrollierter Experimente und Ablationsstudien Training und Evaluation neuronaler Netze zur Altersschätzung Selbstkritische Evaluierung und Interpretation der gefundenen Ergebnisse Präsentieren der Ergebnisse Anfertigen einer wissenschaftlichen Arbeit in Form einer Masterarbeit mit den Ergebnissen Hiermit bringst Du Dich ein Sehr gute Studienleistungen mit einer Durchschnittsnote von maximal 2,2 Gute Kenntnisse im Bereich Machine Learning, Computer Vision und dem Training neuronaler Netze Idealerweise Kenntnisse in generativen Modellen oder Gesichtsanalyse Gute Python-Kenntnisse, vorzugsweise Erfahrung mit PyTorch Kenntnisse zu GANs, Diffusionsmodellen oder Image Forensics sind von Vorteil, aber keine Voraussetzung Motivation, sich eigenständig in neue und aktuelle Forschungsthemen einzuarbeiten Interesse an experimenteller Forschung und der systematischen Analyse neuronaler Netze Interesse an wissenschaftlicher Forschung Ressourcen: MiVOLO Was wir für Dich bereithalten Selbstständige Arbeitszeiteinteilung Einblicke in das Schnittfeld von akademischer Forschung und industrieller Anwendung.
Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.
Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft. Bereit für Veränderung? Dann bewirb Dich jetzt, und mach einen Unterschied! Nach Eingang Deiner Online-Bewerbung erhältst Du eine automatische Empfangsbestätigung. Dann melden wir uns schnellstmöglich und sagen Dir, wie es weitergeht. Fraunhofer-Institut für Sichere Informationstechnologie SIT www.sit.fraunhofer.de Kennziffer: 86077 Bewerbungsfrist: