Anthropic предупреждает о приближении к рекурсивному самосовершенствованию ИИ

Искусственный интеллект продолжает стремительно развиваться, и ведущие лаборатории мира сталкиваются с новыми технологическими выгодами и угрозами. На днях компания Anthropic опубликовала обновленные финансовые и юридические документы, где обратила внимание на важный рубеж в разработке нейросетей.

• Anthropic приблизилась к созданию моделей с возможностью рекурсивного самосовершенствования (RSI).
• RSI означает момент, когда ИИ начинает эффективно обучать сам себя, ускоряя свой прогресс.
• Компания признает двойственную природу RSI: это и огромный потенциал для науки, и серьезный риск безопасности.

Что такое рекурсивное самосовершенствование ИИ

Рекурсивное самосовершенствование, или RSI, представляет собой теоретический и уже практический этап, на котором искусственный интеллект становится настолько хорош в обучении самого себя, что это порождает драматическое ускорение возможностей технологии. Для пессимистов в сфере безопасности ИИ RSI символизирует точку невозврата, когда системы могут выйти из-под контроля человека и стать опасными. Для энтузиастов же это инструмент невероятной производительности и научных открытий.

В своем официальном отчете Anthropic отмечает, что уже использует ИИ для собственных исследований и разработок. Однако компания предупреждает, что применение искусственного интеллекта для создания еще более мощных моделей несет значительные риски. Особенно если это существенно ускорит темпы прогресса до того, как будут готовы соответствующие меры безопасности и контроля.

Новые заявления в отчете компании

В разделе факторов риска Anthropic указала два ключевых момента. Во-первых, компания уже использовала ИИ для разработки новых моделей, скачки возможностей которых разработчики не смогли вовремя распознать. Во-вторых, организация может вскоре достичь собственного внутреннего определения RSI, прописанного в политике ответственного масштабирования.

Несмотря на это, представители компании подчеркивают, что ни одна из существующих моделей еще не пересекла этот критический порог. Anthropic обещает сохранять участие человека в исследовательском процессе и не планирует позволять моделям вроде Claude автономно проектировать следующие поколения передовых систем без глубокого надзора со стороны людей.

Что это значит для индустрии и разработчиков

Подобные заявления крупных игроков рынка вызывают бурные дискуссии среди экспертов, скептиков и регуляторов. Некоторые критики отмечают, что подобные формулировки в официальных документах могут частично использоваться в маркетинговых целях для привлечения внимания. Тем не менее, возможности моделей Claude в программировании, математике и кибербезопасности действительно выросли колоссально за последний год, заставляя индустрию серьезно относиться к рискам контроля над искусственным интеллектом.