Terminal-Bench-Science
Открытый бенчмарк, который проверяет, может ли ИИ-агент выполнить реальные вычислительные исследовательские задачи из естественных наук, математики и инженерии. Задачи пишут действующие учёные. Агент решает их в изолированном терминале, а результат проверяют автоматические тесты автора задачи. В отличие от Terminal-Bench, задачи здесь научные и гораздо длиннее. Проект развивают Стэнфордский университет, Laude Institute и команда Terminal-Bench.
проверено по: tbench.ai ↗
См. также
- Terminal-BenchTerminal-Bench — бенчмарк для ИИ-агентов, работающих в командной строке: агент получает задачу в изолированном окружении (собрать проект, настроить систему, починить ошибку), и результат проверяется автоматическими тестами. Выходят разные версии набора задач, поэтому оценки на них несопоставимы между собой.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- AI for ScienceПрограмма Anthropic, по которой исследователи из научных и некоммерческих организаций получают бесплатные кредиты на использование моделей Claude через API. Заявки отбирают по научной значимости и выполнимости проекта; приоритет отдаётся биологии и наукам о жизни.
В новостях
Пользователи массово делают с Claude Opus 5.5 ролики, нарисованные кодом
Открытый бенчмарк Стэнфордского университета и Laude Institute: агент выполняет в командной строке задачи из реальной работы учёных — анализ данных, моделирование, расчёты. Результат проверяют тесты, написанные авторами задач.
Meta дала агенту Muse почту и управление Mac, а модель только пообещала
Версия бенчмарка Terminal-Bench с научными задачами: ИИ-агент решает их в командной строке, а результат проверяет автоматическая программа.