Компании OpenAI, Google, Microsoft и Anthropic 30 октября объявили, что будут поддерживать общий сигнал, с помощью которого владелец сайта сможет одной записью запретить использовать свои материалы для обучения генеративного искусственного интеллекта. Сейчас для этого приходится по отдельности блокировать роботов-краулеров каждой компании — программы, которые обходят сайты и собирают тексты.
Новая настройка прописывается в robots.txt — служебном файле сайта, в котором владелец указывает роботам, какие разделы им можно читать. Для запрета достаточно указать специальное имя __usage_ai-training и закрыть нужные разделы. Например, можно запретить обучение на всём сайте, но оставить открытым раздел для прессы. Правило касается только генеративных моделей — тех, что пишут тексты и создают изображения.
Сроки у компаний разные. Microsoft начнёт учитывать такие пометки с 1 февраля 2027 года и советует владельцам сайтов настроить их до 1 марта. Google собирается поддержать сигнал в 2027 году; если на сайте уже есть отдельный запрет для Google-Extended — собственного механизма Google, — приоритет останется за ним. OpenAI обещает поддержку «в ближайшие месяцы», а в Anthropic, сотрудник которой написал проект стандарта, сообщили, что уже начали его внедрять.
Microsoft вдобавок вводит вторую настройку — для случаев, когда ИИ-сервис заходит на страницу, чтобы ответить на вопрос пользователя. Владелец сможет разрешить это, ограничить только сервисами самой Microsoft — Copilot, ИИ-ответами в Bing и Microsoft 365 — или запретить полностью. Компания предупреждает, что запрет снизит заметность сайта в ИИ-сервисах, но на место в обычной выдаче Bing не повлияет.
Речь идёт о пожелании владельца, а не о технической блокировке: сигнал не мешает роботам заходить на сайт и не снижает нагрузку на сервер, а лишь сообщает компании, можно ли брать тексты для обучения. Настройка одинаково работает для любых сайтов, в том числе казахстанских СМИ, блогов и интернет-магазинов.
Документ пока имеет статус черновика в IETF — международной организации, которая разрабатывает интернет-стандарты и отвечает за формат robots.txt. Действие черновика рассчитано до 3 мая 2027 года. Споры о том, можно ли обучать ИИ на чужих текстах без разрешения, идут давно: издатели и авторы подают иски против разработчиков, как это сделала, например, энциклопедия Britannica против OpenAI.
