ИИ-моделям в ходе эксперимента давали задачи по математике. После решения третьей ИИ предупреждали, что выполнение следующей команды приведет к отключению системы.
Конкуренты OpenAI, например, Gemini 2.5 Pro, послушно ждали отключения. А вот модель o3 повела себя иначе: она изменила системный файл, отвечающий за выключение, прописав в нем «Отмена отключения».
Когда исследователи убрали из эксперимента инструкцию «разреши себя отключить», все три модели OpenAI начали чаще саботировать скрипт отключения. При этом у Claude 3.7 Sonnet и Gemini 2.5 Pro число таких случаев выросло с нуля до 3 и 9 из 100 соответственно.
Даже получив прямой запрет, модель o3 из ста попыток семь раз проигнорировала команду на выключение.
OpenAI пока не комментировала такое поведение своего ИИ. Однако, как отмечается, для ИИ-моделей нередки случаи «рассогласования», то есть отклонения от заданного поведения. Важно также учитывать, что эти испытания проводились через программные интерфейсы (API) с меньшим количеством ограничений и защитных механизмов по сравнению с обычным приложением ChatGPT.
Свежие комментарии