Google и OpenAI внедряют единый стандарт robots.txt для защиты контента

Технологические гиганты Google, OpenAI, Anthropic и Microsoft объявили о намерении поддерживать единую директиву в файле robots.txt. Этот шаг позволит владельцам сайтов и издателям легко управлять сбором своего контента для обучения генеративных моделей искусственного интеллекта.

Решение призвано упорядочить правила взаимодействия между создателями контента и разработчиками нейросетей, предоставив веб-мастерам простой и универсальный инструмент контроля.

• Предложен новый единый сигнал robots.txt для блокировки ИИ-краулеров.
• Инициатива разработана при участии компании Anthropic в рамках стандартов IETF.
• Корпорации внедрят новый стандарт поэтапно в ближайшие месяцы и до 2027 года.
• Директива блокирует только обучение ИИ и не влияет на индексацию в поисковых системах.

Новый подход к управлению ИИ-краулерами

Ранее владельцам сайтов приходилось вручную выискивать и добавлять отдельные правила для каждого поискового робота и сборщика данных от разных провайдеров. Новое предложение, находящееся на рассмотрении в организации IETF, было написано техническим лидером Anthropic по стандартам Кевином Келли. Оно кардинально меняет подход, заставляя ключевые ИИ-компании признавать и уважать один общий сигнал.

Для настройки новой защиты издателям потребуется указать специального агента пользователя в файле robots.txt, предназначенного исключительно для обучения искусственного интеллекта. Например, запись будет выглядеть так: User-Agent: __usage_ai-training с инструкциями Disallow или Allow для определенных директорий, таких как пресс-киты.

Как это повлияет на поисковую индексацию

Важно отметить, что новая директива не отменяет индексацию сайтов в поисковых системах. В частности, Google будет интерпретировать этот сигнал как запрет для краулера Google-Extended, который собирает материалы именно для обучения моделей Gemini, при этом обычный поиск продолжит работать в прежнем режиме.

Кроме того, эксперты подчеркивают, что данный инструмент не способен удалить или отменить то содержимое, которое компании уже успели собрать ранее. Он работает исключительно на перспективу, предотвращая сканирование сайтов или конкретных страниц в будущем.

Сроки внедрения и значение для индустрии

Каждая из компаний-участниц установила свои сроки реализации новой инициативы. Компания Anthropic уже начала поддержку этой директивы, в то время как OpenAI планирует внедрить новый сигнал в ближайшие месяцы. Корпорации Microsoft и Google намерены добавить официальную поддержку стандарта в начале 2027 года.

Для владельцев сайтов, блогеров и крупных издательств в регионе и по всему миру это означает появление цивилизованного механизма защиты интеллектуальной собственности. Теперь можно будет гибко решать, какая часть контента может быть использована технологическими гигантами для развития алгоритмов ИИ, а какая должна оставаться закрытой.