OpenAI будет учитывать единую отметку о том, можно ли обучать ИИ на сайте
Сайты смогут одной записью в файле robots.txt сообщить OpenAI и другим компаниям, которые её поддержат, можно ли обучать модели на их материалах.
OpenAI будет учитывать общий сигнал в файле robots.txt1: одной записью в нём владелец сайта сообщит всем ИИ-компаниям, которые её поддержат, можно ли обучать модели на его материалах.
Почему это важно: сейчас обучение запрещают каждой компании отдельно — для OpenAI закрывают доступ роботу GPTBot, для Google задают настройку Google-Extended. Общий сигнал позволит обойтись одной записью.
Детали: речь о предложении в Инженерном совете Интернета2 (IETF). Черновик предложения от 30 октября вводит метку __usage_ai-training. Запись с ней касается только обучения генеративных моделей и не управляет тем, какие страницы обходят роботы.
Но: черновик пока не имеет статуса стандарта. Запись выражает пожелание владельца сайта, а частные соглашения с компаниями могут её отменить.
Если шире: Google планирует поддержать сигнал в 2027 году вместе с другими компаниями и сохранит свою прежнюю настройку. Поддержать сигнал пообещали также Microsoft и Anthropic, пишет издание Search Engine Roundtable. Автор черновика — Кевин Келли из Anthropic.