Senior Research Engineer, modellértékelés

Feladatok

• ▹Értékelési benchmarkok, adathalmazok és környezetek fejlesztése a modellképességek legújabb határainak méréséhez
• ▹Kutatás az LLM-értékelési módszerek state-of-the-art szintjének előmozdítására, beleértve LLM bírók tanítását, az értékelés hatékonyságának javítását és magas minőségű adathalmazok skálázható építését
• ▹Skálázható eszközök építése az értékelési eredmények vizsgálatához és megértéséhez, amelyeket a technikai csapat minden tagja, a vezetőség és a CEO is használ
• ▹Tanulás és munka a terület legjobb kutatóival és mérnökeivel

Elvárások

• ▹Szívesen feszegeti az LLM-ek képességeinek határait, és épített magas minőségű értékelési erőforrásokat (adathalmazok, szimulátorok, környezetek stb.)
• ▹Bizonyított tapasztalat új módszerek és/vagy adatok fejlesztésében LLM-ek értékelésére, pl. publikációk rangos konferenciákon vagy népszerű benchmarkok
• ▹Mély tapasztalat LLM-ekkel és körülöttük való építésben, valamint teljesítményük elemzésére szolgáló eszközök építésében
• ▹Erős szoftvermérnöki készségek

Soft skillek

Amit kínálunk

• ▹Heti $75/£75 (vagy helyi megfelelője) ebédtámogatás
• ▹Teljes egészség- és fogászati juttatások, külön mentális egészség kerettel
• ▹RRSP matching, 401K, nyugdíjprogram
• ▹100%-os szülői szabadság kiegészítés akár 6 hónapig bármelyik szülőnek
• ▹Éves enrichment juttatások és oktatási és tanulási támogatás
• ▹6 hét fizetett szabadság (30 munkanap)
• ▹Utazási keret más irodákhoz a távmunkásoknak, valamint éves céges offsite
• ▹$500 home office támogatás; co-working juttatás azoknak, akik nincsenek iroda közelében