Anthropic предупредила о рисках создания саморазвивающегося ИИ

Компания Anthropic в обновленной документации к первичному публичному размещению акций (IPO) предупредила инвесторов о возможном приближении к созданию саморазвивающегося искусственного интеллекта. В фокусе внимания оказался процесс рекурсивного самоулучшения (RSI), при котором передовые нейросети задействуются для разработки еще более мощных и совершенных моделей.

Qisqacha: - Anthropic предупредила инвесторов о рисках рекурсивного самоулучшения (RSI). - ИИ уже используется в разработке, что может привести к неконтролируемому росту возможностей. - Компания может приблизиться к порогу резко ускоренного прогресса ИИ. - Полная автономность создания новых моделей без участия человека пока не планируется.

Что такое рекурсивное самоулучшение и в чем его риски Процесс рекурсивного самоулучшения (RSI) рассматривается специалистами как один из ключевых поворотные моментов в развитии искусственного интеллекта. Сторонники данной технологии подчеркивают ее потенциал для обеспечения беспрецедентного роста производительности труда, совершения прорывных научных открытий и полной автоматизации сложных исследований. Однако критики и эксперты по безопасности высказывают серьезные опасения по поводу того, что способные к саморазвитию системы могут эволюционировать значительно быстрее, чем человечество успеет выработать надежные методы контроля.

Текущая стратегия Anthropic и внутренние оценки Руководство Anthropic открыто признает обе стороны этого технологического процесса. В материалах к IPO отмечается, что компания уже активно применяет существующие модели искусственного интеллекта в собственных исследованиях и в процессе проектирования новых версий. Тем не менее, такой подход несет в себе определенные угрозы: возможности нейросетей могут начать опережать способность разработчиков своевременно проверять их на безопасность, надежность и соответствие базовым человеческим ценностям.

Прогнозы на будущее и человеческий контроль Представители компании сообщили, что в прошлом они уже сталкивались с ситуациями, когда резкие скачки возможностей моделей оставались незамеченными до момента их проявления. Внутренние прогнозы будущих генераций систем показывают, что Anthropic действительно может в скором времени преодолеть установленный ею внутренний порог резкого прогресса, обусловленного ИИ, хотя ни одна из текущих моделей еще не достигла этого критерия.

Значение для технологической индустрии и ИТ-рынка Для мировой IT-индустрии и бизнеса подобные заявления от одного из лидеров рынка генеративного ИИ означают новый этап дискуссий о регуляции и безопасности. Вопрос о том, как удерживать контроль над системами, способными к самосовершенствованию, становится критически важным для разработчиков. При этом компания отдельно подчеркивает, что в обозримом будущем создание новых поколений моделей Claude все равно будет опираться на строгий человеческий контроль без полной автономности.