Поисковый робот
Программа, которая автоматически обходит веб-страницы, переходя по ссылкам, и скачивает их содержимое: для поискового индекса, для сбора данных при обучении моделей или чтобы получить страницы по запросу пользователя. Её также называют веб-краулером (web crawler) или пауком.
проверено по: ru.wikipedia.org ↗
В новостях
Cloudflare помогла OpenAI найти сотни миллионов новых страниц для ChatGPT
Программа, которая сама ходит по сайтам и скачивает страницы — для поискового индекса, для обучения моделей или чтобы ответить на запрос пользователя. По-русски её также называют поисковым роботом или краулером.