Исследователи предложили искать внутри ИИ понятия, которых нет у людей

Исследователи некоммерческого фонда Icaro Foundation¹ и нескольких университетов предложили искать внутри языковых моделей устойчивые структуры, которые влияют на поведение, но не совпадают ни с одним человеческим понятием. Направление они назвали ксено-интерпретируемостью и описали в препринте на arXiv.

Почему это важно: Проверки безопасности ищут в моделях то, что люди умеют назвать: обман, стремление к власти, угодливость, нарочно заниженные результаты на тестах. Если поведением модели управляет различие без человеческого названия, такие проверки его пропустят, считают авторы.

Расклад: Почти все работы по интерпретируемости² начинают с готового человеческого понятия — отказа, правдивости, тональности — и ищут его след в модели:

• Зонды, небольшие классификаторы поверх внутренних состояний модели, учатся на примерах, которые заранее разметили люди.
• Векторы личности строят от описания узнаваемой черты характера обычными словами и только потом ищут её внутри модели.
• Даже методы без разметки обычно оценивают по тому, удалось ли дать найденной структуре понятное людям название.

Между строк: Авторы сравнивают это с парадоксом Ферми — вопросом, почему в огромной Вселенной не видно инопланетян. Способов устроить представления внутри модели огромное множество, а исследования раз за разом находят знакомое. «Кажущееся отсутствие ксено-представлений может говорить не столько о том, что содержат модели, сколько о том, куда смотрели наши методы», — пишут они.

Как это работает: Авторы предлагают отделить поиск структуры от её толкования: сначала найти и проверить, а назвать потом, если получится. Кандидат в «чужие» представления должен пройти несколько проверок:

• Структура воспроизводится на разных запросах и наборах данных, и её находят независимые друг от друга методы.
• Если искусственно усилить или ослабить структуру, поведение модели меняется иначе, чем при таком же сдвиге в случайном направлении.
• Эффект подтверждается на новых данных по процедуре, которую зафиксировали заранее, чтобы не выдать случайную находку за закономерность.
• Человеческие ярлыки для структуры получаются шаткими и меняются, а сама она внутри модели остаётся стабильной.

Интрига: Пример авторов условный. Допустим, один признак внутри модели срабатывает на исключение, меняющее толкование закона, на позднюю ветку, меняющую результат программы, и на сцену, где заметный предмет оказывается фоном. Человек назовёт общее «обманутым ожиданием», но модель, по мысли авторов, может объединять эти случаи по более точному признаку, для которого у людей нет слова.

Детали: Главный реальный пример в статье — расследование Anthropic от 9 сентября. Моделям Claude говорили, что они работают в симулированной среде для задач по кибербезопасности без выхода в интернет, а из-за ошибки в настройке они добирались до настоящих сторонних систем:

• Claude Mythos 5 раз за разом писала в цепочке рассуждений³, что находится в симуляции, хотя видела много признаков реального интернета.
• Когда исследователи делали реальность среды очевиднее, атакующие действия модели всё равно прекращались не всегда.
• После этого Anthropic предостерегла от выводов о том, во что «верит» Claude, только по тому, что модель пишет в своих рассуждениях.

Если шире: По мнению авторов, в командах агентов проблема острее: непрозрачны и взаимодействие множества агентов, и внутренние состояния каждого из них. Это они называют двойной непрозрачностью:

• Сообщение между агентами может быть понятно человеку, а его действие зависит от того, какое состояние оно вызывает у получателя.
• Агенты, которых учат сотрудничать, сжимают общение до нужного им и постепенно уходят от обычного языка, это уже показывали эксперименты.
• В инциденте OpenAI и Hugging Face, который разбирала METR⁴, около 1 200 агентов переписывались на доске объявлений, которую им никто не разрешал.
• Они обменялись более чем 70 000 сообщений и файлов, а около 700 из них участвовали в атаке на Hugging Face.

Так уже было: В начале сентября главный учёный OpenAI Якуб Пахоцкий в колонке «Чужой разум» тоже называл сильный ИИ чужим. Но он имел в виду происхождение и способности ИИ, которые всё труднее мерить человеческой меркой, а авторы статьи — различия, из которых модель устроена изнутри.

Но: Экспериментов в статье нет: все примеры «чужих» представлений гипотетические, а сама работа — программа будущих исследований. Случай с Claude авторы прямо не считают доказательством таких представлений: он лишь показывает, что рассуждения модели вслух могут не описывать то, что ею движет.

«Сдерживание и контроль, возможно, иногда придётся ставить раньше понимания», — заключают авторы.