AI/ML utväderingsansvarig

Vill du göra samhällsnytta och bidra till Sveriges oberoende i världen? Vi söker en AI/ML utvärderingsansvar med bred kompetens till vår tekniska avdelning. På FRA är varje arbetsuppgift en del av något större. Är du den vi söker kan vi erbjuda ett varierande arbete i en kunskapsintensiv miljö där du får vara med och göra skillnad varje dag.

Ditt uppdrag
Som AI/ML utvärderingsansvarig tillhör du vår tekniska avdelning som har till uppgift att förse FRA med de tekniska system som behövs för verksamheten. Som en del av AI-teamet bidrar du till att FRA accelerera och utvecklar sin förmåga inom utvärdering av AI/ML modeller.

I rollen som AI/ML utvärderingsansvarig tar du taktpinnen när det gäller att ta fram och implementera strategier och processer för modellutvärdering. Du äger frågan ”vilken modell ska vi använda, var och varför” och ser till att svaret alltid bygger på data och systematisk utvärdering – inte magkänsla. Du ansvarar för hela modell-benchmark-processen, skapar ett tydligt ramverk och ser till att varje steg är mätbart. Samtidigt granskar du tränings- och testdata för att garantera att de är representativa och korrekta, du förfinar vår MLOps-pipeline och följer upp modellerna även efter lansering för att tidigt upptäcka eventuell modelldrift. Genom att ständigt experimentera med nya modeller och förbättringar ser du till att kvaliteten höjs, och när experimenten är slutförda omvandlar du resultaten till rapporter som tydligt visar både modellens prestanda och eventuella risker.

Arbetet innebär många kontaktytor, såväl internt som externt med samverkande myndigheter, och förutsätter att du trivs i en roll där samarbete och dialog står i fokus. Eftersom rollen innebär att du representerar vår expertis i olika sammanhang kan resor förekomma, både inrikes och utrikes.

Du kan
Vi söker dig som har:

• Kandidatexamen eller motsvarande inom datavetenskap, statistik, matematik eller maskininlärning, alternativt arbetslivserfarenhet som arbetsgivaren bedömer som likvärdig.

• Dokumenterad erfarenhet av ML/AI-arbete i produktionsmiljö.

• Dokumenterad erfarenhet av att utvärdera och benchmarka LLM:er eller NLP-modeller.

• Erfarenhet av att identifiera och mäta KPI:er för modellprestanda, såsom precision, latens och kostnad

• Djup förståelse för LLM-arkitektur (exempelvis transformer, attention, tokenisering, kvantisering, LoRA och finetuning).

• Stark kompetens i Python.

• Kunskap om utvärderingsmått, såsom BLEU, ROUGE, perplexitet och human evaluation

• Förmåga att kommunicera obehindrat på svenska och engelska, både i tal och skrift.

Vi ser det som meriterande om du har:

• Masterexamen inom ML eller AI, och/eller doktorsexamen i datavetenskap inom ett relevant område.

• Erfarenhet av att leda tekniska team eller projekt

• Erfarenhet av open source-modeller: Llama, Mistral, Qwen eller liknande

• Erfarenhet från plattformsbolag eller SaaS-miljöer

• Erfarenhet av arbete med säkerhet och complince  i AI-sammanhang

• Vana att arbeta med benchmark‑ramverk (ex. LM‑Eval‑Harness, OpenAI Evals)

• Erfarenhet av RAG-arkitektur och prompt engineering

• Kunskap om modell-serving genom exempelvis vLLM, Triton eller liknande tekniker

• Erfarenhet av vektordatabaser

Du är
Vi söker dig med följande egenskaper:

• Personlig mognad – Du är trygg, stabil och har självinsikt. Ser relationer i sitt rätta perspektiv, skiljer på det personliga och det professionella. Förhåller sig på ett sätt som är anpassat till situationen

• Självgående – Du tar ansvar för sin uppgift. Strukturerar själv sitt angreppssätt och driver sina processer vidare

• Samarbetsförmåga –Du arbetar bra med andra människor. Relaterar sig till dem på ett lyhört och smidigt sätt. Lyssnar, kommunicerar och löser konflikter på ett konstruktivt sätt.

• Problemlösande analysförmåga –  Du arbetar bra med komplexa frågor. Analyserar och bryter ner problem i sina beståndsdelar och löser komplicerade problem.

•  

Om FRA
FRA har omvärlden som sin arena där varje arbetsuppgift är en del av något större. På ett eller annat sätt får du som medarbetare vara med och bidra till att skydda Sveriges integritet och oberoende i världen. Du är med och gör skillnad på riktigt, varje dag.

Vår uppgift som underrättelsetjänst är att skydda Sverige mot de allvarligaste hot som kan riktas mot ett samhälle – militära angrepp, terrorism och cyberattacker. Vi skyddar det viktigaste vi har – vår trygghet, vår demokrati och vårt sätt att leva. Vi är experter på cyberområdet och signalspaning samt en larmklocka för militära hot.

FRA leder sedan 2024 Nationellt cybersäkerhetscenter, NCSC vars uppdrag är att utveckla och stärka Sveriges förmåga att förebygga, upptäcka och hantera cyberhot.

Som nyanställd på FRA får du en omfattande introduktionsutbildning och kontinuerlig kompetensutveckling, vilket ger dig möjlighet att utveckla dina färdigheter och bli ännu bättre på det du brinner för. Vår organisation är mångfacetterad och består av olika kompetenser och personligheter, där varje individ har unika egenskaper och förutsättningar. Vi strävar efter att skapa en miljö där alla känner sig välkomna och trygga. Utöver en stimulerande arbetsmiljö erbjuder vi också ett attraktivt förmånspaket, som du kan läsa mer om på www.fra.se . För mer information om Nationellt cybersäkerhetscenter besök www.ncsc.se

För din trygghet. För vår demokrati. Varje dag. Året om.

Mer information
Arbetsplatsen är belägen i närheten av Drottningholm, ca 10 min från Brommaplan. Svenskt medborgarskap är ett krav då anställning vid FRA innebär placering i säkerhetsklass. Innan en anställning kommer du att säkerhetsprövas i enlighet med säkerhetsskyddslagens bestämmelser. Med anställning följer en skyldighet att krigsplaceras. Vi tillämpar sex månaders provanställning. I denna rekryteringsprocess kommer arbetsprov/tester att tillämpas. För mer information är du välkommen att kontakta rekryterande chef på telefon 010-557 xx xx. Fackliga företrädare nås på 010-557 46 00.

Vi tar emot ansökningar via www.fra.se senast 2026-05-03.
Referensnummer 2025FRA954-3.

Då vi inför denna rekrytering redan tagit ställning till de rekryteringskanaler vi önskar använda undanber vi oss att bli kontaktade för ytterligare erbjudanden om annonserings- och rekryteringshjälp.

Sökord: AI, ML, LLM, Open Source, benchmarking, modellutvärdering, K8, Kubernetes, Container, GPU, Python,