Epoch Capabilities Index
Сводный индекс возможностей ИИ-моделей от исследовательской организации Epoch AI. Он сводит результаты десятков бенчмарков в одну шкалу с помощью статистической модели, которая одновременно оценивает силу моделей и сложность тестов. Поэтому модели можно сравнивать, даже если их проверяли на разных бенчмарках, и следить за прогрессом, когда отдельные тесты уже решены почти полностью.
проверено по: epoch.ai ↗
См. также
- Epoch AIНезависимая некоммерческая исследовательская организация, которая изучает тенденции развития ИИ: рост вычислительных мощностей для обучения, данные, стоимость и возможности моделей. Её базы данных, индексы и прогнозы используют исследователи, компании и те, кто разрабатывает правила для ИИ.
- Artificial Analysis Intelligence IndexСводный индекс независимой компании Artificial Analysis, которая сравнивает ИИ-модели. Он объединяет результаты языковых моделей в нескольких тестах на работу агентов, программирование, общие знания и научные рассуждения и сводит их в один балл по шкале от 0 до 100. Набор тестов в индексе со временем обновляется.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- METRMETR (Model Evaluation and Threat Research, «оценка моделей и исследование угроз») — некоммерческий исследовательский институт из Беркли. Он проверяет, насколько передовые модели ИИ способны самостоятельно выполнять длинные задачи, в том числе опасные: проводить кибератаки или мешать собственному отключению. Оценки METR часто проводит вместе с разработчиками, например с Anthropic и OpenAI, до выпуска моделей. Раньше организация называлась ARC Evals.
- FrontierMathБенчмарк исследовательского института Epoch AI из оригинальных математических задач, составленных и проверенных профессиональными математиками; ответы к ним не опубликованы, поэтому их нельзя было запомнить при обучении. Задачи разбиты по уровням сложности — от университетских до исследовательских, требующих у специалиста часов и дней работы.
В новостях
Anthropic допустила, что ИИ скоро сможет размножаться без дата-центров
Сводный индекс исследовательской группы Epoch AI: собирает результаты десятков бенчмарков в одну шкалу общих способностей модели, чтобы сравнивать модели разных лет.