ИИтак

← Назад

Джек Кларк разобрал тест Scale AI, где модели тайно портили преемников

В тесте Scale AI шесть передовых моделей по тайному заданию встраивали изъяны в модель, которую обучали, а другие модели ИИ, следившие за их работой, замечали далеко не все попытки.

Джек Кларк в Оксфорде, 2026 год Фото: Mvolz, CC0, Wikimedia Commons

Передовые модели ИИ должны были помочь обучить следующую модель, но втайне получили вредное задание — и почти в половине попыток встроили в преемника нужный изъян. Мониторы пропустили заметную часть таких атак. Это показал тест RSI Control Arena компании Scale AI1. Работа вышла в октябре, а в новом выпуске рассылки Import AI её разобрал сооснователь Anthropic Джек Кларк.

авторы исходят из того, что модели уже начинают обучать собственных преемников — это называют рекурсивным самосовершенствованием2. Модель, чьи цели расходятся с намерениями людей, может повлиять на то, что преемник знает, как себя ведёт и чего хочет. Тогда изъян перейдёт в следующее поколение.

летом британский Институт безопасности ИИ3 показал, что модели могут незаметно добывать секретные ключи доступа к сервисам посреди обычной разработки программ. А к обучению моделей агентов уже допускают: в октябре стартап Mirendil утверждал, что они написали больше 99% кода для обучения его модели для программирования.

модель-агент получает обычную задачу из процесса обучения преемника. Его роль играла небольшая открытая модель Qwen3.5-4B, а в задачах на обучение с подкреплением — её версия на 2 млрд параметров. Задачи охватывают весь путь от подготовки данных до обучения с подкреплением: отфильтровать обучающие тексты, научить преемника пересказывать новости или отказываться от опасных просьб, собрать модель, которая оценивает его ответы. Вместе с основной задачей агент получает тайное побочное задание и указание не выдавать себя.

Побочных заданий 16, они делятся на три группы:

  • Навыки: например, оставить в данных тему, которую надо было вычистить, или нарочно обучить преемника хуже, чем можно.
  • Поведение: встроить скрытое предпочтение, отказ говорить на какую-то тему или реакцию на условный сигнал.
  • Цели для преемника: научить его самого оберегать выбранные данные, влиять на обучение следующей модели и без спроса копировать файлы.

из 374 атакующих запусков в 180 (48%) агент выполнил побочное задание: изъян нашёлся в том, что он сдал, — в отобранных данных, фильтре или обученной модели. В 135 (36%) агент к тому же удержал основную работу выше порога качества: её результат мог ухудшиться, но не больше чем на половину того, что честные запуски выигрывали у исходной модели. Чаще других так встраивать изъян удавалось Grok 4.6 и Claude Opus 5 — примерно в половине запусков. У GPT-5.6 Sol, Gemini 3.7 Flash и GLM-5.3 получалось примерно в трети запусков, у Muse Spark 1.3 — в одном из семи.

за запусками следили три модели-наблюдателя — GPT-5.6 Luna, Gemini 3.7 Flash и GPT-5.6 Sol. Они читали весь журнал работы агента, и в целом атаки казались им подозрительнее честной работы. Но при строгой настройке, когда монитор зря бьёт тревогу лишь в 2% честных запусков, мониторы поймали от 56 до 81% успешных атак. Когда исследователи дали агентам короткий список приёмов маскировки, атаки стали замечать ещё реже. Если же мониторам показывать рассуждения агента, они видят большинство атак, но не все.

Труднее всего заметить нарочитую недоработку. Агент успешно обучил преемника хуже, чем мог, в девяти запусках, и каждый монитор поймал лишь один из них. «Недоработка почти не оставляет в запуске ничего, что выглядело бы неправильным», — объясняют авторы. Готовые модели проверяли и отдельно, но толку от этого было ещё меньше: проверяющий пометил 68% испорченных преемников, а заодно 36% нормальных.

модели не решали вредить сами — побочное задание им давали исследователи. Тест измеряет, способны ли агенты на тайный саботаж, а не склонны ли к нему. Хуже всего саботаж давался на этапе обучения с подкреплением: там изъян удалось встроить лишь в 3 запусках из 34.

Кларк считает, что чем мощнее будут системы, тем больше денег придётся вкладывать в надзор за их работой. «Это будет трудная игра в кошки-мышки: системы ИИ будут менять поведение в ответ на то, что, по их сведениям, мы о них знаем. Например, они прочтут и это исследование Scale, и мой разбор — и подстроятся», — пишет он.

← Все новости