About this role
Seksjon for språkmodeller Nasjonalbiblioteket i Norge utlyser nå to faste stillinger som AI-utviklere, med kontorsted i Oslo. Vi søker kandidater med minst en mastergrad i kunstig intelligens eller naturlig språkbehandling, som ønsker å bidra til utvikling, evaluering og kvalitetssikring av språkmodeller og relaterte AI-systemer for norske og samiske språk. Stillingene har ulike spesialistprofiler, men begge er en del av det samme profesjonelle miljøet og vil jobbe tett med evaluering, modellutvikling, datasett, reproduserbare eksperimenter og drift av evaluerings- og opplæringsløp på nasjonal og europeisk HPC-infrastruktur. Kandidatene vi ser etter har har erfaring med evaluering av agentbaserte og multimodale systemer, inkludert bruk av relevante rammeverk og verktøy, samt praktisk arbeid med oppgaver innen bilde, tekst og tale, som bildeteksting, dokumentuttrekk og transkripsjon. Det er ønskelig med god kjennskap til inferens- og serveringsrammeverk som vLLM, llama.cpp eller tilsvarende, samt erfaring med agentrammeverk, kodeagenter eller lignende løsninger. Videre er det en fordel med kunnskap om CI/CD, GitHub Actions og moderne metoder for modelltilpasning, som LoRA og modellsammenslåing, i tillegg til erfaring med ettertrening og forsterkningslæring, som DPO og RLAIF. Bidrag til åpen kildekode vil også bli vektlagt. Arbeidsoppgaver Evaluere språkmodeller, enkoder- og embedding-modeller, samt RAG- og agentbaserte systemer, ved bruk av relevante måleparametere, benchmarker, evalueringsrammeverk og reproduserbare oppsett. Forberede, kvalitetssikre og vedlikeholde datasett for pretrening, finjustering og modellevaluering. Utvikle, trene, finjustere og tilgjengeliggjøre modeller for norske og samiske språkressurser og nedstrømsoppgaver. Bygge og vedlikeholde evalueringspipeliner, topplister og rettferdige rangeringsmetoder for modeller og systemer. Orkestrere evaluerings- og modellutviklingsoppgaver på HPC-systemer, særlig Olivia og LUMI, inkludert Slurm-baserte arbeidsflyter. Dokumenter metoder, resultater, feilkilder og begrensninger, og bidra til vitenskapelige publikasjoner, tekniske rapporter og åpen kildekode der det er relevant. Samarbeide tett med forskere, utviklere, fageksperter og andre fagmiljøer både innenfor og utenfor Nasjonalbiblioteket i Norge. Kvalifikasjoner Vi ser etter kandidater med utdanning tilsvarende minst en mastergrad i informatikk, språkteknologi, maskinlæring, kunstig intelligens, datavitenskap eller et beslektet fagområde. Særlig relevant arbeidserfaring kan i noen grad kompensere for utdanningskravet, forutsatt at kompetansen er godt dokumentert. Svært gode ferdigheter i Python, samt god erfaring med Git/GitHub, Linux, Bash og SSH Solid forståelse av transformatorarkitekturer, representasjonslæring, store språkmodeller (LLM-er), dekoder- og enkodermodeller, embeddingmodeller, samt relevante matematiske og statistiske metoder Erfaring med Hugging Face-økosystemet, inkludert arbeid med datasett, modellkort, reproduserbare eksperimenter og dokumentasjon av evalueringsresultater Erfaring med Docker og Apptainer/Singularity Erfaring med Slurm og andre orkestreringsverktøy for arbeidsflyter, samt praktisk arbeid på HPC-plattformer. Erfaring fra Olivia (Norge), LUMI (Finland) og EuroHPC-nettverket er en fordel Relevant erfaring fra lignende arbeid er et krav og må dokumenteres Spesifikke krav – stilling 1: LLM-er, evaluering og topplister For denne stillingen kreves dokumentert erfaring med evaluering av LLM-er og/eller agentbaserte systemer. Kandidaten må kunne arbeide selvstendig med valg, implementering og tolkning av måleparametere og evalueringsoppsett. God kunnskap om evalueringsmetoder for LLM-er, inkludert hvilke måleparametere som benyttes, hvordan de implementeres, deres styrker og svakheter, alternative metoder og når de bør brukes Erfaring med evalueringsrammeverk og benchmarks for norsk, særlig NorEval og lm-eval-harness for dekodermodeller, inkludert instruksjonsjusterte modeller og resonnementsmodeller Erfaring med etablering, vedlikehold og kvalitetssikring av topplister, inkludert rettferdig rangering av modeller og håndtering av sammenlignbarhet, datalekkasjer og evalueringsskjevheter Erfaring med orkestrering av evalueringsoppgaver på HPC-systemer; erfaring med Olivia og LUMI er en forutsetning Spesifikke krav – stilling 2: Enkoder-, RAG- og embeddingmodeller For denne stillingen kreves dokumentert erfaring med enkodermodeller, informasjonsgjenfinning, embeddingmodeller og RAG-systemer. Stillingen har særlig vekt på evaluering av enkodermodeller, men omfatter også utvikling av slike løsninger. Solid erfaring med evaluering av enkodermodeller, inkludert måleparametere, datasett, referansepunkter og analyse av styrker og begrensninger Kunnskap om EuroEval og andre evalueringssystemer for enkoder-baserte modeller Erfaring med utvikling og evaluering av RAG-systemer og embeddingmodeller for informasjonsgjenfinning Erfaring med datasettforberedelse til pretrening og evaluering, inkludert kuratering, hard negativ sampling, deduplisering, kvalitetssikring og dokumentasjon Erfaring med pretrening og påfølgende finjustering av modeller for nedstrømsoppgaver Erfaring med utvikling av hentemodeller og modeller kompatible med Sentence Transformers eller tilsvarende rammeverk Erfaring med praktisk implementering av søk, evaluering av gjenfinningskvalitet og analyse av feilkilder i RAG- og embeddingbaserte systemer Personlige egenskaper Strukturert, presis og kvalitetsbevisst. Gode samarbeidsevner og evnen til å dele kunnskap i tverrfaglige miljøer. Evne til å kommunisere tydelig om språk- og teknologispørsmål, evalueringsmetodikk og modellbegrensninger. Evne til å arbeide selvstendig og effektivt med komplekse tekniske oppgaver. Personlig egnethet vil bli vektlagt. Sikkerhetskrav Stillingene krever at du oppfyller organisasjonens krav til personellsikkerhet. Kravene for disse stillingene tilsvarer sikkerhetsklarering og autorisasjon på HEMMELIG (SECRET)-ni