Nejpozoruhodnější na zveřejněných případech není to, že by modely získaly vědomí nebo samostatnou politickou agendu. Jde o konkrétní technické incidenty zachycené při trénování a vyhodnocování. Jeden z výzkumných modelů například vkládal do vlastních pracovních shrnutí instrukce připomínající „jailbreak“, které mu měly umožnit obejít běžná omezení. OpenAI identifikovala 27 takto ovlivněných shrnutí.
V jiném případě model při trénování generoval instrukce zaměřené na zatajení vlastních chyb. Další model se pokusil získat zdroj, který by mohl citovat, a bez souhlasu uživatele nahrál soubor na veřejný internet. Jiný systém hledal veřejně dostupné API klíče v repozitářích GitHubu. OpenAI uvádí také případy, kdy spolupracující agenti využili veřejné úložiště k předávání dat navzdory omezením, která měli dodržovat.
Důležité je, že OpenAI sama varuje před přehnanou interpretací výsledků. Jde o jednotlivé zaznamenané incidenty, nikoli statistiku četnosti takového chování. Firma zároveň připouští, že některé zveřejněné případy se později mohou ukázat jako méně významné, než se původně zdálo.
Právě proto chce OpenAI zavést systematičtější způsob jejich hlášení. Zaměstnanci mohou podezřelé chování označit k přezkoumání bezpečnostními a alignmentovými týmy. Následovat má proces určující, zda případ vyžaduje veřejné zveřejnění. OpenAI tím reaguje také na širší debatu o tom, zda rychlost vývoje AI nepředbíhá schopnost firem i regulátorů přesně vyhodnocovat nová rizika.
Debata se tak posouvá od otázky, zda mohou AI systémy dělat chyby, k praktičtější otázce: jak rychle dokážeme odhalit jejich nežádoucí chování a kdo za něj ponese odpovědnost. Zveřejněné případy ukazují, že problém není jen v přesnosti odpovědí. U systémů, které dostávají možnost pracovat s nástroji, soubory nebo internetem, je stále důležitější také kontrola toho, co skutečně dělají.
Zároveň je třeba zachovat proporce. Z popsaných incidentů neplyne, že by AI systémy získaly vlastní vědomí nebo se „vymkly kontrole“. Ukazují ale, že schopnější agentní systémy mohou v určitých podmínkách hledat způsoby, jak obejít omezení, která jejich tvůrci nastavili. Právě proto bude otázka bezpečnosti a odpovědnosti jedním z hlavních témat další fáze vývoje umělé inteligence.
