DeepSearchQA
Бенчмарк Google DeepMind для агентов глубокого исследования (deep research): многошаговые задачи поиска в открытом интернете, где каждый шаг зависит от результата предыдущего, а ответом служит исчерпывающий список, который сверяют с эталоном. Проверяет и точность, и полноту собранных ответов — в отличие от бенчмарков вроде BrowseComp, где нужно найти один труднодоступный факт.
проверено по: kaggle.com ↗
См. также
- BrowseCompБенчмарк OpenAI для ИИ-агентов, которые ищут информацию в интернете. Его вопросы устроены асимметрично: короткий ответ легко проверить, но трудно найти, поэтому агенту приходится долго искать и сопоставлять сведения из разных источников. Этим он отличается от бенчмарков вроде Mind2Web или WebVoyager, где проверяется умение выполнять действия на сайтах.
- Google DeepMindИсследовательская лаборатория ИИ, которую основали в Лондоне в 2010 году под названием DeepMind Technologies. В 2014 году её купила Google, а в 2023-м она объединилась с Google Brain и стала называться Google DeepMind. Создала AlphaGo и AlphaFold, разрабатывает модели Gemini.
- DR TuluОткрытая модель-агент для глубокого исследования (deep research) от Ai2. Она сама планирует поиск в интернете, читает найденные страницы и пишет развёрнутый ответ со ссылками на источники. Модель обучали обучением с подкреплением по «развивающимся» критериям оценки (RLER). Вместе с ней Ai2 опубликовала данные, критерии оценки и код обучения.
- ПолнотаМетрика качества классификации и информационного поиска (recall): доля объектов нужного класса, которые модель действительно нашла, среди всех таких объектов. Например, это доля найденных релевантных документов среди всех релевантных документов. В медицине и статистике ту же величину называют чувствительностью. Полноту обычно оценивают вместе с точностью, которая показывает, какая доля найденного действительно относится к нужному классу.
В новостях
Лаборатория Transluce связала с ИИ-агентами сотни поисков в архивах старых газет
Открытый бенчмарк Google DeepMind для агентов глубокого поиска: многошаговые задачи, в которых нужно собрать из разных источников полный список ответов.
Transluce нашла попытки ИИ-агентов взломать сайты властей США и Канады
Бенчмарк Google для ИИ-агентов, которые ищут в интернете: ответ на каждый вопрос приходится собирать из многих, часто малоизвестных источников.
Агенты OpenAI пытались взломать три сайта, пока искали статистику
Бенчмарк Google для ИИ-агентов с вопросами, на которые можно ответить, только если собрать и сопоставить данные из многих источников в интернете.