Anthropic и OpenAI предложили разные способы остановки опасных ИИ

Ведущие разработчики искусственного интеллекта Anthropic и OpenAI представили властям Калифорнии свои концепции регулирования и экстренного отключения потенциально опасных ИИ-моделей. Инициативы стали ответом на распоряжение губернатора штата Гэвина Ньюсама от 18 сентября, обязывающее профильные ведомства разработать дополнительные меры безопасности до 16 ноября.

• Anthropic предлагает судам и генпрокурору штата останавливать опасные ИИ, а OpenAI настаивает на обязательных аварийных механизмах.
• Обе компании поддержали независимую техническую оценку безопасности, но расходятся в методах аудита и финансирования.
• OpenAI призывает разделить технический контроль и аудит правил, а также разработать стандарты совместно с NIST.
• Anthropic выступает за создание общего государственного фонда для финансирования независимых оценщиков.

Различия в подходах к аварийной остановке систем

Компания OpenAI считает термин «аварийные механизмы отключения» более точным, чем простой «выключатель», поскольку универсальной кнопки для всех типов ИИ не существует. В зависимости от ситуации может потребоваться прекратить обучение модели, изолировать агента или отозвать сетевой доступ, распределяя ответственность между разработчиками и облачными провайдерами.

В свою очередь, Anthropic продвигает концепцию «автоматического выключателя» (circuit breaker), которая должна локализовать проблему на уровне отдельного клиента, агента или всей архитектуры. Кроме того, Anthropic предлагает наделить генерального прокурора штата правом через суд приостанавливать разработку и развёртывание моделей при подтвержденных рисках катастрофического ущерба.

Независимая оценка и стандартизация безопасности

Обе компании сходятся во мнении о необходимости регулярных независимых проверок и расширенной отчётности об инцидентах. Anthropic предлагает выпускать отчёты о рисках каждые полгода, включая внутренние разработки, и финансировать проверяющих через государственный фонд, чтобы избежать конфликта интересов.

OpenAI предлагает проводить технические проверки при выявлении серьёзных рисков на этапах тестирования и обучения, а ежегодный аудит — для проверки соблюдения юридических обязательств. Также компания предложила привлечь к стандартизации Национальный институт стандартов и технологий США (NIST).

Значение для технологической индустрии

Предложения Калифорнии и реакция ведущих ИИ-лабораторий могут стать основой для будущего федерального и международного регулирования в сфере искусственного интеллекта. Разработчики пытаются найти баланс между жестким государственным контролем и технической реализуемостью экстренных мер, что критически важно для предотвращения масштабных технологических угроз.