METR насчитала, что Anthropic улучшает модели почти вдвое быстрее прежнего

Модели Anthropic прибавляют в тестах примерно в 1,9 раза быстрее, чем до октября 2025 года. К такому выводу пришла некоммерческая организация METR¹: компания на 11 недель открыла ей внутренние данные. В отчёте от 5 ноября описана и закрытая модель Anthropic, которую METR условно называет «Модель 4»: она закончила обучение в сентябре–октябре.

Почему это важно: METR со стороны, по внутренним данным, измерила, насколько быстрее Anthropic стала улучшать модели и какую часть ускорения даёт сам ИИ. Её оценка выше той, что давала компания, и почти достигает двукратного ускорения — порога раннего предупреждения в правилах безопасности Anthropic.

Предыстория: проверка шла в те самые недели, когда глава Anthropic Дарио Амодеи призвал отрасль притормозить. В эссе 12 сентября он предложил «замедлить темп, с которым мы улучшаем возможности ИИ-моделей». Способность ИИ строить следующее поколение ИИ без присмотра, писал он, «может обогнать нашу способность понимать и контролировать эти системы». В том же эссе Амодеи выступил за внешних оценщиков, работающих внутри лабораторий, и назвал METR подходящей для этого организацией.

Повод: отчёт подводит итог проверки, для которой METR, по её словам, получила «беспрецедентный доступ» к данным о том, как лаборатория создаёт ИИ. Четверо сотрудников METR работали с Anthropic с 12 августа по 29 октября. Им передали результаты тестов невыпущенных моделей, данные о численности штата и вычислениях на обучение, внутренние опросы, а ещё дали поговорить примерно с 15 сотрудниками. Доступа к самим закрытым моделям METR не просила и не получала, денег стороны друг другу не платили. Anthropic имела право вычеркнуть из публичного отчёта любые непубличные сведения. По словам METR, Anthropic убрала большую часть самых показательных доказательств. Компания объяснила правки тем, что эти сведения могли бы ускорить других разработчиков.

Как это работает: METR мерила прогресс по индексу AECI — версии индекса возможностей Epoch AI², которую ведёт сама Anthropic. Индекс сводит результаты многих тестов в одну шкалу и учитывает модели, которые не выходили наружу. До октября 2025 года модели компании прибавляли по нему около 15 баллов в год, после — около 29. Выходит, за последний год Anthropic продвинулась так же, как за два предыдущих: примерно от Claude 2.1 до Sonnet 4.5. Если взять передовые модели всех разработчиков, включая Anthropic, тот же расчёт даёт ускорение в 1,4 раза.

Детали: «Модель 4» получила 178,6 балла AECI. В каждом тесте индекса, где её проверяли, она набрала больше 50%, и это METR смущает: «Нехватка тестов, трудных для „Модели 4“, заставляет нас несколько нервничать». «Модель 3» закончила обучение чуть раньше, в августе–сентябре. Оба названия условные: внутри компании модели зовут иначе. В соцсети X пишут, будто «Модель 4» на 4 балла обходит Opus 5.5, которую Anthropic выпустила 22 сентября, но в тексте отчёта такого сравнения нет.

Расклад: около 80% нынешнего ускорения METR приписывает самому ИИ и оговаривается, что эта прикидка очень неточна. А вот в том, что дело не в более быстром наращивании вычислений на обучение, организация уверена. Самостоятельно ИИ пока не делает весомого вклада в главные этапы обучения моделей: прежде всего работу ускоряет его помощь людям. Но исследователи рассказывали, что видят «признаки жизни». Узких мест в алгоритмах, вычислениях и данных на ближайшие 12 месяцев METR не нашла, поэтому видит «значительный риск», что в ближайший год ускорение станет ещё сильнее.

«Теперь упираемся только в идеи и вычислительные мощности, код больше не узкое место»

исследователь Anthropic в беседе с METR

Другая сторона: в августовском отчёте о рисках Anthropic писала, что разработка заметно ускорилась, но меньше чем вдвое, а в системной карточке³ Claude Haiku 5.5 — об ускорении в 1,7 раза. Значит, тревожный порог из политики ответственного масштабирования⁴ компания не прошла. Во втором отчёте METR согласилась, что катастрофический риск от тогдашних моделей был низким. Но, по её мнению, двукратный порог раннего предупреждения вполне мог быть пройден уже к 15 июля, а публичный отчёт компании «в целом преуменьшает» ускорение.

Но: METR предупреждает, что рост баллов может оказаться следствием самого метода или подгонки моделей под тесты. Такое же ускорение в реальной работе из него не следует, тем более что оценка касается чётко поставленных задач. 95-процентный доверительный интервал — от 1,5 до 2,8 раза, а другие способы расчёта дают от 1,1 до 2,9. Ускорение может выглядеть больше и потому, что в 2025 году модели Anthropic отставали от передовых и база для сравнения была низкой.

Anthropic не ответила сразу на вопросы AP. По данным агентства, позже в ноябре компания собирается выйти на биржу, и это размещение может стать крупнейшим в истории.