About this role
<p><span style="font-family:arial, helvetica, sans-serif">Das Institut für den Schutz terrestrischer Infrastrukturen hat die stabile Versorgung der Gesellschaft zum Ziel. Digitale Zwillinge ermöglichen die Überwachung und Reaktion auf Krisen und Angriffe sowie die Analyse und Optimierung der Resilienz terrestrischer Infrastrukturen.</span></p> <p> </p><p><span style="font-family:arial, helvetica, sans-serif"><strong>Das erwartet dich </strong></span></p> <p><span style="font-family:arial, helvetica, sans-serif">Eine Herausforderung bei der Erstellung digitaler Zwillinge ist die Umwandlung von technischen Dokumentationen, insbesondere von Rohrleitungs- und Instrumentierungsdiagrammen (P&IDs) und elektrischen Schaltplänen, in strukturierte, maschinenlesbare Daten. In dieser Arbeit sollen Methoden erforscht und evaluiert werden, die Textannotationen (Beschriftungen, Notizen, Teilenummern) nutzen, indem Sie Large Language Model (LLM)-Features mit Objektdetektoren kombinieren, die zur Vorhersage von Graphen verwendet werden.</span></p> <p> </p> <p><span style="font-family:arial, helvetica, sans-serif"><strong>Deine Aufgaben</strong></span></p> <ul> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Implementierung moderner OCR-Technologie für P&IDs und elektrische Zeichnungen und Aufbau eines Datensatzes (synthetisch + real) für Training und Evaluierung</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Erstellung eines Tools zum Taggen von Textstrings und den zugehörigen Symbolen, um Ground-Truth-Beziehungstabellen (Text ↔ Objekt) zu erstellen</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Vergleich und Bewertung verschiedener Ansätze zur Kombination der Textfeatures mit der Symbolerkennung:</span> <ul> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">regelbasierte Methoden, die Distanz, Ausrichtung und domänenspezifische Hinweise verwenden (z. B. „Text, der über einem Symbol platziert ist, beschreibt dieses in der Regel“)</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Extraktion von semantischen Features aus dem erkannten Text mit einem vortrainierten LLM und Kombinierung mit CNN-Features der Symbole</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Training eines Classifiers, der Text- und Objekt-features als Eingabe nimmt und eine binäre Ausgabe „related/nicht related“ vorhersagt</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Erfassung, wissenschaftliche Analyse und Präsentation der Untersuchungsergebnisse</span></li> </ul> </li> </ul> <p> </p> <p><span style="font-family:arial, helvetica, sans-serif"><strong>Das bringst du mit</strong></span></p> <ul> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">laufendes Studium in Informatik, Mechatronik, Elektrotechnik oder einem verwandten Fachgebiet</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Bereitschaft, sich in komplexe Themen einzuarbeiten</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Grundkenntnisse im Bereich Machine Learning</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">gute Kenntnisse in der Programmierung mit Python</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">selbstständiges Arbeiten</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">gute Kommunikations- und Teamfähigkeiten</span></li> </ul> <p><span style="font-family:arial, helvetica, sans-serif">Gewünschte Qualifikation:</span></p> <ul> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Erfahrung mit Computer Vision-Bibliotheken wie OpenCV, PyTorch oder TensorFlow</span></li> <li style="font-family:arial, helvetica, sans-serif"><span style="font-family:arial, helvetica, sans-serif">Grundkenntnisse von LLMs</span></li> </ul><p><span style="font-family:arial, helvetica, sans-serif">Wir freuen uns darauf, dich kennenzulernen!</span></p> <p><span style="font-family:arial, helvetica, sans-serif">Fragen zu dieser Position (<strong>Kennziffer <strong>4254</strong></strong>) beantwortet dir gerne:</span></p> <p><span style="font-family:arial, helvetica, sans-serif"><strong><strong>Tobias Koch</strong> </strong></span><br><span style="font-family:arial, helvetica, sans-serif">Tel.: +49 2241 20148 55 </span></p>