Mind2Web
Набор данных и бенчмарк для веб-агентов, созданный группой NLP Университета штата Огайо. Состоит из задач на реальных сайтах из множества областей: агент должен выполнить задание по инструкции на обычном языке, а для сравнения записаны последовательности действий людей. Проверяет, справляется ли агент с сайтами и задачами, которых не видел при обучении.
проверено по: osu-nlp-group.github.io ↗
См. также
В новостях
Inception выпустила Mercury 3 — языковую модель на 1 000 токенов в секунду
Набор задач для проверки веб-агентов: агенту дают поручение на настоящем сайте — найти, заказать, заполнить форму — и смотрят, справился ли он.