Anthropic Fellows Program, AI Security (AI-biztonság/security)
Az Anthropic küldetése megbízható, értelmezhető és irányítható AI-rendszerek létrehozása. Az Anthropic Fellows Program az AI-kutatói és -mérnöki tehetségeket gondozza azzal, hogy finanszírozást és mentorálást nyújt ígéretes technikai tehetségeknek, korábbi tapasztalattól függetlenül. A fellow-k elsősorban külső infrastruktúrát (nyílt forráskódú modellek, nyilvános API-k) használva dolgoznak egy empirikus projekten, amely az Anthropic kutatási prioritásaihoz illeszkedik, és a cél egy nyilvános kimenet (pl. egy publikáció). A program 4 hónapos teljes munkaidős, megosztott munkaterekkel Londonban vagy Berkeley-ben, és távmunkás fellow-kat is fogadnak az Egyesült Királyságból, az USA-ból vagy Kanadából. Ez a munkafolyamat az AI Security, amely az offenzív biztonságot, a sebezhetőség-kutatást és az AI-rendszerek red-teamingjét fedi le (korábbi projektek között szerepel, hogy AI-ágensek 4,6 millió dollárnyi blockchain smart contract sebezhetőséget tártak fel, valamint moduláris scaffold control-kiértékelésekhez).
Stack
Feladatok
- ▹Empirikus AI-security kutatási projekten dolgozni azzal a céllal, hogy nyilvános kimenet szülessen
- ▹Hozzájárulás a security-közeli kutatáshoz, például az AI-rendszerek red-teamingjéhez és control-kiértékeléseihez
- ▹Sebezhetőség-kutatás és offenzív biztonsági munka AI- és LLM-rendszereken
Elvárások
- ▹Folyékony Python-programozási tudás
- ▹Elérhetőség a Fellows program teljes munkaidős elvégzéséhez
- ▹Erős technikai háttér számítástechnikában, matematikában vagy fizikában
- ▹Ötletek gyors megvalósítása és világos kommunikáció
- ▹Motiváció aziránt, hogy az AI biztonságos és hasznos legyen a társadalom egésze számára
- ▹Lelkesedés az empirikus AI-kutatásba való átmenet iránt, és érdeklődés egy teljes munkaidős anthropic-os szerep iránt
- ▹Munkavállalási engedély az USA-ban, az Egyesült Királyságban vagy Kanadában, és tartózkodás abban az országban a program alatt (a fellow-knak nincs vízumszponzoráció)
Előny
- ▹Motiváció a fejlett AI-rendszerekből eredő katasztrofális kockázatok csökkentésére
- ▹Hozzájárulás nyílt forráskódú LLM- vagy security-közeli repository-khoz
- ▹Bizonyított eredmény homályos technikai problémák tisztázásában és felelős kezelésében
- ▹Tapasztalat pentestingben, sebezhetőség-kutatásban vagy más offenzív biztonsági munkában
- ▹Hajlandóság a "piszkos munkára", amely magas minőségű eredményeket hoz
- ▹Bejelentett CVE-k vagy elnyert bug bounty-k
- ▹Tapasztalat empirikus ML-kutatási projektekben
- ▹Tapasztalat deep learning keretrendszerekkel és kísérletkezeléssel
Soft skillek
Amit kínálunk
- ▹Heti ösztöndíj 3 850 USD / 2 310 GBP / 4 300 CAD + juttatások (országonként eltérő), heti 40 óra 4 hónapon át
- ▹Közvetlen mentorálás Anthropic-kutatóktól
- ▹Hozzáférés megosztott munkatérhez a kaliforniai Berkeley-ben vagy a londoni irodában
- ▹Számítási kapacitás finanszírozása (~15 000 USD/hó) és egyéb kutatási költségek fedezése
- ▹Kapcsolódás a tágabb AI-biztonsági kutatói közösséghez