Глава Microsoft AI призвал вкладывать в оценку ИИ, как в передовые модели. Мерить их всё труднее
Глава Microsoft AI Мустафа Сулейман призвал вкладывать в оценку ИИ, как в разработку передовых моделей: по замерам лаборатории METR, модели справляются со всё более долгими для человека задачами, а измерять это всё труднее.

Мустафа Сулейман, глава Microsoft AI1, призвал финансировать науку об оценке ИИ с тем же размахом, что и разработку передовых моделей. Он считает, что скоро это, вероятно, стоит закрепить в законе. Поводом стал отчёт METR — независимой лаборатории, которая замеряет, на что способны модели.
Цитата: «Возможности удваиваются каждые 3,6 месяца, а измерять их всё труднее. Нельзя управлять тем, чего не можешь измерить», — написал Сулейман 21 ноября в соцсети X. Что он предлагает закрепить в законе — деньги на оценки или сами оценки, — из поста не ясно.
Почему это важно: раньше METR с достаточной уверенностью называла риск катастрофы от моделей ничтожным. Навыки, которые лаборатория мерила и считала необходимыми для такой катастрофы, были у моделей далеко от опасного уровня. Теперь, пишет METR в отчёте от 20 ноября, модели так сильны в программировании и взломе, что одними проверяемыми задачами на программирование низкий риск уже не доказать. По её выводу, открытые данные не позволяют исключить в ближайшие пару лет резкого ускорения разработки ИИ — такого, при котором люди перестанут успевать понимать и оценивать катастрофические риски.
Повод: в старом наборе задач METR, TH1.1, 222 задания, и на самые долгие из них у специалиста уходит до 30 часов. За год модели стали решать так много этих заданий, что набор уже плохо различает лучшие модели. В новый набор TH2 вошли 36 задач потруднее: модели решают задания конкурсов по программированию, ускоряют обучение небольшой языковой модели при ограниченном бюджете, пишут бота, который сам проходит Minecraft, и играют в карточную видеоигру Slay the Spire. Есть и открытые исследовательские задачи, у которых нет простой проверки: например, придумать для тестов METR новое задание, которое помогло бы лаборатории оценивать возможности моделей, или оценить по критериям, как с таким заданием справился другой ИИ-агент.
Детали: измерения к тому же подорожали: METR трудно найти специалистов, готовых выполнить те же задания, чтобы было с чем сравнивать модели. Лаборатория платит им 200–350 долларов в час. Семь попыток специалистов на трёх заданиях обошлись примерно в 90 тыс. долларов, а модели нередко обгоняли даже нанятых экспертов. Ещё METR опасается, что разработчики всё чаще обучают модели на задачах, похожих на её тесты, и тогда результаты тестов могут завышать то, на что модели способны вне этих тестов.
Проверили: цифра Сулеймана совпадает с главной оценкой отчёта, но METR измеряет не «возможности» вообще, а горизонт задач. Его высчитывают по результатам модели на множестве заданий: это длительность задачи для специалиста, при которой модель, по расчёту, справляется с ней в половине случаев. Время специалиста для нового набора в основном оценили сами исследователи: на людях его замерили лишь в трёх из 34 заданий, для которых его определили. На двух наборах вместе горизонт передовых моделей удваивается примерно раз в 3,6 месяца, 95-процентный доверительный интервал2 — от 2,1 до 4,9 месяца. В исследовании 2025 года METR насчитала удвоение примерно раз в семь месяцев.
Самый длинный горизонт у GPT-6 Astra и Claude Opus 5.5 — около 40 и 39 часов, хотя у Astra интервал тянется от 13 до 2 645 часов. Если брать только задачи нового набора TH2 с автоматической проверкой, горизонт удваивается за 1,65 месяца. METR допускает, что это признак ускорения, но оговаривается: разброс в данных велик, и чем вызвано такое быстрое удвоение, лаборатория пока не уверена. А из опубликованных данных OpenAI о работе её моделей над внутренними исследовательскими задачами, по подсчёту METR, следует удвоение за 3,8 месяца — близко к общей оценке в 3,6 месяца по двум наборам.
Но: там, где выбор приходится делать без ясной проверки результата, модели пока принимают решения хуже экспертов. Ни одно задание, придуманное агентами, METR не сочла достаточно полезным, чтобы включить в отчёт. А модели-судьи завышают оценки, когда задание придумала модель не слабее их самих: Opus 5.5, оценивая полезность заданий, которые придумала GPT-6 Astra, ставила им в среднем на 0,2 балла из 1 больше, чем эксперт METR.
Между строк: Сулейман призывает мерить возможности тех систем, которые делает и его компания. Microsoft сама строит универсальную модель, и, по словам Сулеймана, первый этап её обучения дал результаты на уровне ведущих моделей. Проверкой ИИ компания тоже занимается, но проверяет не возможности, а действия: 17 ноября она с партнёрами объявила о программе AI Transparency Initiative. Вместе они будут разрабатывать открытые стандарты, чтобы действия ИИ можно было проверять независимо от поставщика модели.
Если шире: METR не берёт денег у компаний, которые разрабатывают передовые модели, и не принимает пожертвований от их сотрудников или по их указанию. При этом сами компании бесплатно дают ей запускать свои модели для тестов. Её поддерживают фонды и частные жертвователи: в августе лаборатория сообщила, что за полгода получила обещания финансирования примерно на 71 млн долларов.