Állás

Senior Research Scientist, modellértékelés

Cohere

AI / ML Engineer • Remote • Teljes munkaidő • 📍 London

Senior Research Scientist, modellértékelés (Model Evaluation) a Cohere-nél; feladata következő generációs értékelési módszerek és infrastruktúra létrehozása az LLM-ek fejlődésének mérésére, ambiciózus benchmarkok építése és az LLM-értékelés state-of-the-art szintjének előmozdítása.

Feladatok

▹Ambiciózus új értékelési benchmarkok létrehozása, amelyek feszegetik a modellek képességeinek határait
▹Erősen keresztfunkcionális csapatokban a modell-visszajelzések megbízható, megismételhető értékelésekké alakítása
▹Kutatás az LLM-értékelési módszerek state-of-the-art szintjének előmozdítására, beleértve LLM bírók (judges) tanítását, LLM-alapú adatszintézis pipeline-ok finomítását és az értékelés hatékonyságának javítását
▹Skálázható és újrahasznosítható eszközök építése a modellteljesítmény elemzéséhez

Elvárások

▹Szívesen épít gyorsan prototípusokat, amelyek bemutatják az LLM-ek képességeinek határait, és fejleszt erőforrásokat ezek mérésére
▹Több tucat órát töltött komplex adatok és LLM kimenetek áttekintésével a magas adatminőség biztosítása érdekében
▹Megszállottan törekszik az AI-képességek szigorú mérésére, és arra, hogy a mérések valóban a fontos képességeket tükrözzék
▹Erős szoftvermérnöki készségek

Soft skillek

Szigorúság és figyelem a részletekreKeresztfunkcionális együttműködésErős analitikus gondolkodás

Amit kínálunk

▹Heti $75/£75 (vagy helyi megfelelője) ebédtámogatás
▹Teljes egészség- és fogászati juttatások, külön mentális egészség kerettel
▹RRSP matching, 401K, nyugdíjprogram
▹100%-os szülői szabadság kiegészítés akár 6 hónapig bármelyik szülőnek
▹Éves enrichment juttatások és oktatási és tanulási támogatás
▹6 hét fizetett szabadság (30 munkanap)
▹Utazási keret más irodákhoz a távmunkásoknak, valamint éves céges offsite
▹$500 home office támogatás; co-working juttatás azoknak, akik nincsenek iroda közelében

Nyelvtudás: angol