robots.txt
Текстовый файл в корне сайта, в котором владелец по стандарту исключений для роботов (Robots Exclusion Protocol) указывает, какие разделы каким поисковым роботам и другим программам-обходчикам можно обходить. В том числе так закрывают сайт от ботов, которые собирают данные для обучения ИИ-моделей. Указания носят рекомендательный характер: добросовестные роботы их выполняют, но технически доступ к страницам файл не закрывает.
проверено по: ru.wikipedia.org ↗
См. также
- Поисковый роботПрограмма, которая автоматически обходит веб-страницы, переходя по ссылкам, и скачивает их содержимое: для поискового индекса, для сбора данных при обучении моделей или чтобы получить страницы по запросу пользователя. Её также называют веб-краулером (web crawler) или пауком.
- security.txtsecurity.txt — текстовый файл в стандартном месте сайта (/.well-known/security.txt), в котором владелец указывает контакты и правила для сообщений об уязвимостях. Формат описан стандартом IETF RFC 9116 и рассчитан на машинную обработку: обязательны поля Contact и Expires, остальные (политика, шифрование, языки, благодарности) необязательны.
- Wayback MachineБесплатный веб-архив некоммерческой организации Internet Archive. Он регулярно сохраняет копии страниц сайтов, а также страницы, которые присылают пользователи. По архиву можно посмотреть, как страница выглядела в прошлом, и найти удалённые материалы. Это часть Internet Archive, а не вся организация: у неё есть и другие собрания — книги, аудио, видео.
В новостях
Meta отложила до 20 ноября условия о сборе контента сайтов, пишет Reuters
Файл в корне сайта, в котором владелец указывает, каким поисковым роботам и программам-обходчикам какие разделы можно читать. Закон не обязывает роботов выполнять эти указания: их соблюдают добровольно.