Джаред Каплан: рекурсивный ИИ даст «взрыв интеллекта», но выйдет из под контроля

Джаред Каплан — физик, получивший образование в Стэнфорде и Гарварде, работал в ЦЕРНе и Университете Джонса Хопкинса, затем присоединился к OpenAI, а в 2021 году стал соучредителем Anthropic, компании стоимостью $180 млрд. Он известен как один из ведущих мировых экспертов в области ИИ.

Каплан считает, что рекурсивные системы, способные самостоятельно улучшать свои алгоритмы и способности, создают фундаментальные риски.

Если ИИ станет умнее человека и сможет привлекать помощь других ИИ для ускоренного развития, это может стать моментом непредсказуемого изменения баланса сил между людьми и машинами. С такими технологиями станет труднее справляться, и их могут использовать во вред. По его словам, решение о дальнейшем обучении ИИ необходимо будет принять в период между 2027 и 2030 годами.

Ученый уже делал ряд прогнозов. По его мнению, ИИ сможет выполнять большую часть офисной работы в ближайшие 2-3 года, а его сын, которому сейчас шесть лет, «никогда не превзойдет ИИ в академической работе, например, в написании эссе или при сдаче экзамена по математике».

Каплан считает, что человечество должно быть готово к последствиям быстрого развития технологий и возможной потере контроля.

По его оценке, сейчас индустрия в целом неплохо справляется с «выравниванием» ИИ с человеческим уровнем этики и морали — настройкой моделей на человеческие ценности и интересы. Anthropic продвигает подход «конституционного ИИ», когда поведение системы регулируется набором прописанных принципов, вдохновлённых международными правовыми и этическими документами. Но после преодоления человеческого уровня он уже не уверен, что контроль удастся сохранить.

Первая линия риска, по его словам, — потеря понимания того, что делает система и во имя каких целей. Вторая — концентрация научной и технологической мощи в руках узкого круга игроков, в том числе недобросовестных.

«Можно представить человека, который решит: “Я хочу, чтобы этот ИИ был моим слугой, выполнял мою волю”. Предотвращение таких захватов власти — не менее важно, чем борьба с ошибками самих моделей», — говорит Каплан.

Среди положительных сторон он выделяет ускорение биомедицинских исследований, улучшение здравоохранения и кибербезопасности, повышение производительности, освобождение времени для людей и создание возможностей для процветания.

По мнению Каплана, обществу необходимо участвовать в обсуждении развития ИИ, вовлекать международные организации, а также контролировать темпы и направления автономного самосовершенствования, чтобы минимизировать риски и предотвратить злоупотребления технологиями. Политики при этом должны быть хорошо осведомлены о текущих тенденциях и перспективах.

Anthropic разрабатывает продукты ИИ, включая чат-бота Claude, которая позволяет создавать автономные ИИ-агенты. Компания позиционирует себя как сторонника безопасного и регулируемого развития ИИ.