Anthropic разрабатывает систему FlashProve для проверки подлинности ИИ

Компания Anthropic начала разработку новой открытой системы под названием FlashProve, предназначенной для верификации происхождения ответов искусственного интеллекта. Об этом исследователи компании сообщили в своем официальном блоге, опубликовав техническую документацию и рабочий код на GitHub.

Исследователи выделили главные особенности проекта: - Название разработки: система FlashProve. - Назначение: предоставление криптографических доказательств подлинности генерации. - Условие работы: публикация разработчиками специального цифрового «отпечатка» модели. - Статус проекта: промежуточный этап исследований, коммерческий запуск пока не планируется.

Как работает FlashProve Новая разработка призвана обеспечить так называемый «проверяемый вывод» — математическую гарантию того, что конкретный ответ был сгенерирован определенной моделью. Подобно цифровым подписям в электронной почте, FlashProve защищает пользователей от подделок, когда одна языковая система выдается за другую. Механизм позволяет исключить ситуации, при которых разработчики могут скрытно подменять дорогостоящие передовые алгоритмы на более дешевые аналоги ради экономии ресурсов или, напротив, завышать результаты тестов производительности. Система функционирует за счет публикации уникального «отпечатка» каждой модели. Важной технической особенностью является то, что этот отпечаток не раскрывает внутренние веса нейросети, которые коммерческие игроки вроде Anthropic или OpenAI тщательно скрывают как коммерческую тайну. Благодаря этому технология потенциально применима и к проприетарным коммерческим решениям, оставаясь при этом достаточно легковесной для проверки на локальных устройствах пользователей.

Практическое применение и дальнейшие планы Помимо предотвращения подмен со стороны самих разработчиков ИИ, технология может использоваться для подтверждения заявлений третьих сторон. Например, разработчики программного обеспечения смогут доказать, что их код действительно проверялся на уязвимости передовой моделью кибербезопасности, а компании смогут подтвердить валидность бизнес-планов, составленных с помощью искусственного интеллекта. На данном этапе проект находится в стадии активных исследований, и руководство Anthropic не планирует немедленно внедрять его в свои действующие продукты. Публикация исходного кода преследует цель привлечь сторонних специалистов к доработке и улучшению технологии, что может в будущем сформировать новый отраслевой стандарт прозрачности в сфере генеративного искусственного интеллекта.