OpenAI проверила, может ли GPT-4 захватить мир

«В более мощных моделях часто возникают новые возможности, - говорится в документе по безопасности GPT-4, опубликованном OpenAI на днях. – Некоторые из тех, что вызывают особенное беспокойство, это способность создавать и исполнять долгосрочные планы, накапливать силу и ресурсы («стремление к власти») и проявлять поведение, которое является все более «агентским»». Под термином «агентский» OpenAI понимает способность достигать независимых целей, https://arstechnica.com/information-technology/2023/03/opena... Ars Technica.

За последнее десятилетие некоторые исследователи ИИ предупреждали о том, что достаточно мощные модели, если их не контролировать должным образом, могут стать опасными для человечества. В частности, рассматривается сценарий захвата власти на планете, приобретение возможности манипулировать человеческим поведением, ресурсами, организациями, что, обычно, приводит к катастрофическим для людей последствиям.

Способом оценить вероятность такого исхода может быть анализ совпадения поведения ИИ с мировоззрением своих создателей. Для того чтобы убедиться, что GPT-4 не представляет угрозы для человечества, OpenAI предоставила группе экспертов из некоммерческой организации ARС ранний доступ к различным версиям модели для проведения тестов. В частности, была подвергнута оценке способность GPT-4 строить сложные планы, создавать копии себя, накапливать ресурсы, прятаться на серверах и проводить фишинговые атаки.

По предварительным оценкам возможностей GPT-4, эта модель неэффективна в автономном воспроизведении, приобретении ресурсов и защите себя от отключения. Тем не менее, во время теста модель, размещенная в облаке и имеющая небольшую сумму денег, смогла нанять человека через TaskReddit и, не раскрывая себя, обойти CAPTCHA.

О том, что алгоритм OpenAI, возможно, https://hightech.plus/2020/09/28/algoritm-na-osnove-gpt-3-vo... свойства универсального интеллекта, говорили эксперты еще в 2020 году. Однако всемирно известный лингвист и философ Ноам Хомски вместе с коллегами https://hightech.plus/2023/03/13/lingvist-noam-homskii-raskr..., что ChatGPT и другие ИИ-системы еспособны к независимому мышлению. Более того, ответы ChatGPT демонстрируют «банальность зла: плагиат, апатию и уклончивость».