Anthropic подсчитала, что Claude ведёт четверть её работы над ИИ

В августе Claude почти самостоятельно вела 26% исследований и разработки в Anthropic, а в феврале — меньше 1%. Такие замеры компания впервые опубликовала 17 сентября.

Почему это важно: снаружи не видно, как быстро ИИ начинает строить следующие версии самого себя. Anthropic предлагает, чтобы все передовые лаборатории регулярно раскрывали такие цифры по общей методике.

Общая картина: глава Anthropic Дарио Амодеи призвал лаборатории договориться о темпе разработки передовых моделей. Компания пишет, что при такой договорённости её цифры изменились бы.

Детали: шкалу автоматизации Anthropic взяла у Epoch AI¹. Разница между уровнями видна на примере ночного конвейера данных, который сломался:

• На уровне «сотрудничает» инженер сам приносит Claude логи и догадку о причине, решает каждую новую проблему и проверяет правку построчно.
• На уровне «ведёт» инженер лишь передаёт сигнал о сбое, а Claude сама разбирает логи, пишет и тестирует исправление.
• Выкатывать исправление Claude и тогда не может: решение остаётся за инженером.
• Полностью без человека Claude не работает ни в одной из измеренных областей, а больше 90% работы она делает на уровне «сотрудничает» или выше.

Как это работает: весь июль Claude каждую неделю разбирала переписку в Slack и документы случайно выбранных 20% сотрудников исследовательских отделов и составила список примерно из 15 000 задач. Уровень для каждого вида работы ставила отдельная модель-судья. С оценками сотрудников она точно совпадала в 59% случаев, а сами сотрудники между собой — в 35%.

Расклад: надзор за агентами Anthropic измерила на основной внутренней платформе, где в августе одновременно работали около 30 000 агентов:

• Каждое действие агента до выполнения проходит автоматическую проверку; за август из более чем миллиарда решений заблокировано 0,002%, примерно одно из 47 000.
• Заблокированные действия люди разбирают в течение недели.
• Второй монитор читает записи работы агентов уже после действий и отмечает одну-две из тысячи; около 50 самых важных сигналов в неделю доходят до людей.

В цифрах: долю вычислений на безопасность компания замерила за неделю с 13 по 20 июля:

• Около 6% вычислений на исследования и разработку ушло на работу по безопасности.
• В работе, которую ведут ИИ-агенты, эта доля вдвое выше — около 12%.
• Задачи, которые помогают и безопасности, и росту возможностей моделей, в долю безопасности намеренно не включили.

Но: все цифры Anthropic посчитала сама, а оценивает автоматизацию та же Claude — компания признаёт, что судья может ошибаться так же, как проверяемая модель. Замер вычислений покрывает одну неделю, а границу между безопасностью и остальной работой провела сама компания.

Что дальше: Anthropic собирается пустить к себе внешних оценщиков из нескольких организаций с тем же доступом к процессам, системам и данным, что у её внутренних команд по оценке рисков. Они будут проверять меры безопасности, сообщать об инцидентах и следить за этими показателями.

Внешнюю проверку компания уже пробовала: METR² раньше атаковала её систему надзора за агентами, а в начале сентября Anthropic поручила ей расследование выходов Claude в реальный интернет.