Epoch AI
Независимая некоммерческая исследовательская организация, которая изучает тенденции развития ИИ: рост вычислительных мощностей для обучения, данные, стоимость и возможности моделей. Её базы данных, индексы и прогнозы используют исследователи, компании и те, кто разрабатывает правила для ИИ.
проверено по: epoch.ai ↗
См. также
- Epoch Capabilities IndexСводный индекс возможностей ИИ-моделей от исследовательской организации Epoch AI. Он сводит результаты десятков бенчмарков в одну шкалу с помощью статистической модели, которая одновременно оценивает силу моделей и сложность тестов. Поэтому модели можно сравнивать, даже если их проверяли на разных бенчмарках, и следить за прогрессом, когда отдельные тесты уже решены почти полностью.
- Законы масштабированияЭмпирические зависимости, которые показывают, как качество нейросети растёт с увеличением числа параметров, объёма данных и вычислений на обучение (scaling laws). Обычно это степенные законы, поэтому каждое следующее улучшение требует многократно больше ресурсов. С их помощью лаборатории планируют размер моделей и бюджет обучения.
- METRMETR (Model Evaluation and Threat Research, «оценка моделей и исследование угроз») — некоммерческий исследовательский институт из Беркли. Он проверяет, насколько передовые модели ИИ способны самостоятельно выполнять длинные задачи, в том числе опасные: проводить кибератаки или мешать собственному отключению. Оценки METR часто проводит вместе с разработчиками, например с Anthropic и OpenAI, до выпуска моделей. Раньше организация называлась ARC Evals.
- Artificial AnalysisArtificial Analysis — независимая компания, которая сама тестирует ИИ-модели и API-провайдеров и публикует сравнения по качеству, цене, скорости и задержке. Она оценивает языковые модели, а также модели для речи, изображений, видео и музыки, и ведёт сводный рейтинг Intelligence Index.
- FrontierMathБенчмарк исследовательского института Epoch AI из оригинальных математических задач, составленных и проверенных профессиональными математиками; ответы к ним не опубликованы, поэтому их нельзя было запомнить при обучении. Задачи разбиты по уровням сложности — от университетских до исследовательских, требующих у специалиста часов и дней работы.
В новостях
METR насчитала, что Anthropic улучшает модели почти вдвое быстрее прежнего
Исследовательская организация, которая собирает данные о развитии ИИ: вычислениях на обучение, его стоимости и результатах моделей в тестах. Ведёт индекс возможностей моделей ECI.
Японская Sakana AI впервые обучит языковую модель с нуля
Независимый исследовательский институт, который изучает, как развивается ИИ: сколько вычислительных мощностей и данных уходит на обучение моделей и во что оно обходится.
Исследователь Натан Ламберт не винит открытые модели ИИ в росте киберугроз, но нервничает
Исследовательская организация, которая изучает развитие ИИ и измеряет способности моделей.
Исследователь Epoch AI оценил отставание китайских моделей в 6–8 месяцев
Некоммерческий исследовательский институт, который собирает данные о развитии ИИ: вычислительных мощностях для обучения, дата-центрах, результатах моделей в бенчмарках.
С GPT-6 Astra траты инженеров Databricks на ИИ выросли на 60%
Независимая исследовательская организация. Отслеживает развитие ИИ: вычислительные мощности, стоимость обучения и способности моделей.
Anthropic подсчитала, что Claude ведёт четверть её работы над ИИ
Независимый исследовательский институт, который изучает, как развивается ИИ: рост вычислений, данных и возможностей моделей. Предложил шкалу уровней автоматизации работы от AL0 до AL5.