Cloudflare помогла OpenAI найти сотни миллионов новых страниц для ChatGPT

Сеть Cloudflare, через которую работает больше пятой части сайтов, подсказала поисковому роботу¹ OpenAI сотни миллионов страниц, о которых тот не знал, — так Cloudflare подвела первые итоги совместного пилота.

Почему это важно: обычно поисковик узнаёт о странице по ссылкам с других сайтов. Подсказки Cloudflare помогают найти и страницы, на которые почти никто не ссылается, хотя они бывают нужны: инструкцию к конкретной модели стиральной машины или свежее меню ресторана.

Предыстория: Cloudflare и OpenAI запустили пилот 8 июля. Тогда Cloudflare обещала делиться данными о том, когда страницы обновляются и какой трафик к ним идёт.

Повод: в пилоте участвовал примерно 1% всей сети Cloudflare; идёт ли речь о доле сайтов или трафика, компания не уточняет. Этого хватило, чтобы OpenAI нашла и внесла в поисковый индекс сотни миллионов новых страниц, на которые теперь может опираться поиск ChatGPT.

Как это работает: Cloudflare передаёт не текст страниц, а сведения о них. OpenAI сама решает, индексировать ли страницу и как высоко ставить её в ответах. Сигналы об изменениях подсказывают поисковому роботу, когда страницу стоит скачать снова, а когда она не менялась.

Детали: заодно компании научились замечать адреса, которые не стоит обходить или показывать:

• Боты раз за разом запрашивают несуществующие файлы, и пустой адрес из-за этого выглядит востребованным.
• Некоторые сайты перенаправляют почти любой адрес на свою главную страницу.
• Другие адреса ведут на копии одного и того же содержимого.
• Если злоумышленник подсадил поддельную форму входа на обычный сайт, помечают только эту страницу, а не весь домен; такую пометку пока испытывают.

Но: поначалу обход сайтов может даже вырасти, потому что новые страницы нужно проверить и проиндексировать. Сколько лишних запросов удалось убрать и какие сайты участвуют в пилоте, Cloudflare не назвала.

Общая картина: с 15 сентября Cloudflare предлагает владельцам новых доменов готовые настройки в зависимости от того, зарабатывает ли сайт на рекламе. Сайтам с рекламой она предлагает пускать поисковых ботов, а ботов, которые собирают данные только для обучения моделей, блокировать на всём домене. Ботам, которые действуют за пользователя, закрыты лишь страницы с рекламой, а роботам, которые собирают данные и для поиска, и для обучения, разрешён поиск, а запрет на обучение им передают через robots.txt. Пилот касается только поиска: Cloudflare подчёркивает, что передаёт метаданные, а не текст для обучения. Если Cloudflare сообщила о странице, это не даёт поисковому роботу OpenAI права её скачать: доступ по-прежнему определяют настройки владельца сайта. Обходчик для обучения, GPTBot, OpenAI держит отдельно от поискового.

Что дальше: в следующей фазе компании собираются:

• Точнее отбирать страницы, о которых сообщает Cloudflare.
• Испытать более быстрые и надёжные сигналы об изменениях страниц.
• Измерить, что происходит после того, как страницу нашли, и приносит ли это сайтам реальную выгоду.