20% вычислительной мощности OpenAI направлено на создание защиты от сверхразумного ИИ

OpenAI сформировала команду Superalignment в июле для разработки путей управления, регулирования и контроля «сверхразумных» систем ИИ – то есть, гипотетических машин, превосходящих в интеллекте человека. Возглавляет ее Илья Суцкевер, тот самый, кто возглавил попытку неудавшегося переворота против Альтмана и был изгнан из совета директоров.

Его положение компании весьма шаткое, но эту должность за ним оставили.

«Сегодня мы можем контролировать модели, которые глупее нас или, может быть, примерно равны нам, максимум, - сказал Колин Бернс, один из членов команды Superalignment, в разговоре с журналистами TechCrunch. – Контролировать модели, которые намного умнее нас, задача менее очевидная – как это вообще возможно?»

Сверхразумный ИИ – неоднозначная проблема в кругах разработчиков. Далеко не все убеждены в реальности этой угрозы. Однако Альтман неоднократно заявлял о возможных рисках и даже сравнивал ИИ с ядерной бомбой, а OpenAO – с проектом «Манхэттен». Правда, некоторые эксперты утверждают, что такие высказывания были сделаны для отвлечения внимания законодателей от реальных проблем ИИ: например, предвзятости и непрозрачности.

Убежден в реальности угрозы и сам Суцкевер, https://techcrunch.com/2023/12/14/openai-thinks-superhuman-a... TechCrunch. Это явствует не только из его высказываний, но и поступков: он направил значимое количество вычислительных мощностей компании – 20% процессоров OpenAI – на работу Superalignment.

«Недавний прогресс в ИИ идет невероятно быстрыми темпами, и могу вас заверить, что он не замедлится, - сказал Леопольд Ашебреннер, член команды Superalignment.

– Я думаю, мы очень скоро достигнем систем человеческого уровня, но не остановимся на этом и пойдем дальше, к сверхчеловеческим системам. (…) Так как нам контролировать сверхразумные системы ИИ и как сделать их безопасными? Это проблема, стоящая перед всем человечеством, возможно, самая важная из нерешенных технических проблем нашего времени».

Сейчас команда занимается разработкой основы для контроля над будущими и потенциально опасными  ИИ на правительственном и ином уровнях. Задача не очевидная, учитывая отсутствие согласия в определении «сверхинтеллекта» и возможности систем ИИ его достичь. Подход, который исследуют сейчас в Superalignment, заключается в использовании менее сложных моделей (например, GPT-2) для направления развития более сложных (GPT-4) в нужную сторону. Более слабая модель выступает, фактически, аналогом человека, пытающегося контролировать сверхразумный ИИ.

Все результаты работы этой команды будут доступны общественности, заверили ее участники.

Ученые  https://hightech.plus/2023/12/10/ii-modeli-mogut-vizvat-kriz... тем, что неграмотное использование искусственного интеллекта приводит к потоку ненадежных или бесполезных исследований. Это может привести к кризису воспроизводимости научных работ. ИИ-модели страдают от предвзятости и ошибок, которые переносятся в научные статьи. В медицине это может приводить к постановке неверных диагнозов.