BrowseComp
Бенчмарк OpenAI для ИИ-агентов, которые ищут информацию в интернете. Его вопросы устроены асимметрично: короткий ответ легко проверить, но трудно найти, поэтому агенту приходится долго искать и сопоставлять сведения из разных источников. Этим он отличается от бенчмарков вроде Mind2Web или WebVoyager, где проверяется умение выполнять действия на сайтах.
проверено по: openai.com ↗
См. также
- Mind2WebНабор данных и бенчмарк для веб-агентов, созданный группой NLP Университета штата Огайо. Состоит из задач на реальных сайтах из множества областей: агент должен выполнить задание по инструкции на обычном языке, а для сравнения записаны последовательности действий людей. Проверяет, справляется ли агент с сайтами и задачами, которых не видел при обучении.
- DeepSearchQAБенчмарк Google DeepMind для агентов глубокого исследования (deep research): многошаговые задачи поиска в открытом интернете, где каждый шаг зависит от результата предыдущего, а ответом служит исчерпывающий список, который сверяют с эталоном. Проверяет и точность, и полноту собранных ответов — в отличие от бенчмарков вроде BrowseComp, где нужно найти один труднодоступный факт.
В новостях
Поисковый ИИ-агент стал точнее, когда планирование отделили от сводки
Бенчмарк OpenAI из вопросов, ответы на которые трудно найти в интернете: агенту приходится долго искать и сопоставлять много источников.