Google и OpenAI договорились о едином стандарте для robots.txt

В Google совместно с такими крупными разработчиками ИИ, как OpenAI, Microsoft и Anthropic, объявили о планах по внедрению в стандартный файл robots.txt единого механизма управления использованием контента для машинного обучения. Это позволит владельцам веб-сайтов задавать свои предпочтения сразу для нескольких технологических компаний, выполнив настройку всего один раз.

• Единый маркер политики в robots.txt заменит раздельные инструкции для разных ИИ-провайдеров.
• Решение опирается на наработки рабочей группы AIPREF в рамках IETF.
• Существующие индивидуальные инструменты контроля, такие как Google-Extended, продолжат работать.
• Инициатива соответствует требованиям Кодекса практики для моделей GPAI по закону ЕС об искусственном интеллекте.

Новый стандарт управления данными в robots.txt

Новое решение основано на наработках рабочей группы AIPREF в рамках Инженерного совета Интернета (IETF). Вместо того чтобы прописывать персональные запреты для каждого отдельного алгоритма, владельцы сайтов смогут использовать специальный маркер политики. Он задает общие правила для всех участвующих в единой системе разработчиков искусственного интеллекта.

Если веб-ресурс задействует этот маркер для запрета обучения ИИ и при этом не задает директиву Google-Extended отдельно, поисковый гигант будет интерпретировать это как прямой запрет. Аналогичным образом смогут поступать и остальные участники инициативы, что существенно упрощает процесс администрирования сайтов и защиты интеллектуальной собственности в сети.

Совместимость со старыми инструментами и экосистема ЕС

Разработчики подчеркивают, что все ранее созданные инструменты для отдельных компаний продолжат работать в прежнем режиме. Веб-маasters смогут комбинировать глобальные отраслевые стандарты с точечными настройками для конкретных платформ, используя, например, директиву Google-Extended для тонкого управления видимостью данных.

Стоит отметить, что сайты, которые явно разрешают использование контента через соответствующие механизмы, смогут рассчитывать на появление в ответах и получение целевых переходов пользователей. Это реализуется через механизм обоснования в приложениях искусственного интеллекта, таких как экосистема Gemini.

Соответствие европейскому законодательству и значение для индустрии

По словам представителей Google, данное предложение полностью учитывает пожелания издателей, общественных организаций и регуляторов, которые давно требовали прозрачных и универсальных стандартов. Поддержка инициативы лидерами рынка закладывает надежную основу для межотраслевого регулирования использования веб-контента.

Инициатива также напрямую соотносится с положениями Кодекса практики для поставщиков моделей общего назначения в рамках европейского Закона об искусственном интеллекте (EU AI Act). В этом документе файл robots.txt официально признается главным способом выражения предпочтений владельцев сайтов в машиночитаемом формате, а компании планируют дорабатывать стандарт в IETF.