GAIA
Бенчмарк для оценки ИИ-ассистентов общего назначения (General AI Assistants), созданный исследователями Meta и Hugging Face. Состоит из практических вопросов с коротким однозначным ответом. Чтобы ответить, нужно рассуждать в несколько шагов, искать в интернете, работать с файлами разных форматов и пользоваться инструментами. Для людей такие задачи просты, а для ИИ-систем трудны.
проверено по: arxiv.org ↗
См. также
- Hugging FaceАмериканская компания с французскими основателями и крупнейшая платформа, где публикуют, ищут и скачивают модели машинного обучения, прежде всего с открытыми весами, а также датасеты и демо-приложения (Spaces). Её часто называют «GitHub для машинного обучения». Компания также разрабатывает популярную открытую библиотеку Transformers.
- BrowseCompБенчмарк OpenAI для ИИ-агентов, которые ищут информацию в интернете. Его вопросы устроены асимметрично: короткий ответ легко проверить, но трудно найти, поэтому агенту приходится долго искать и сопоставлять сведения из разных источников. Этим он отличается от бенчмарков вроде Mind2Web или WebVoyager, где проверяется умение выполнять действия на сайтах.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Астрофизик с агентами Claude собрал карту всего неба в ультрафиолете
Космическая обсерватория Европейского космического агентства: составляет точную карту положений, расстояний, движений и яркости звёзд Млечного Пути.
ИИ-агент на мощном ПК не отдаёт данные облаку, но решает меньше задач
Бенчмарк для ИИ-ассистентов общего назначения: вопросы, для ответа на которые нужно рассуждать, искать в интернете, разбирать файлы и пользоваться инструментами. У каждого вопроса один проверяемый ответ.
Поисковый ИИ-агент стал точнее, когда планирование отделили от сводки
Бенчмарк для ИИ-ассистентов из практических задач, которые требуют поиска в интернете, работы с файлами и нескольких шагов рассуждений.