Ник Каммарата из Goodfire считает, что большинство нейронов в моделях ИИ можно понять

Ник Каммарата годами считал, что нейроны моделей ИИ отвечают сразу за несколько несвязанных понятий. Теперь он утверждает, что большинство нейронов делает одно понятное дело и модели можно читать изнутри.

Большинство нейронов в моделях ИИ, вплоть до моделей с триллионами параметров, уже можно понять, утверждает исследователь лаборатории Goodfire¹ Ник Каммарата в эссе «Нейросети уже чистые». Эссе вышло 15 октября, и сам автор называет его неформальным, рабочей гипотезой.

Почему это важно: годами считалось, что нейроны моделей перепутаны и читать их напрямую бесполезно. Если Каммарата прав, проверять модели изнутри станет проще, в том числе искать обман. По его словам, обман может укрыться от того, кто видит только ответы модели. Но внутри модели его должны «читать» её же механизмы — значит, он должен быть доступен и исследователю, который научится читать нейроны так же.

Предыстория: прежнюю картину Каммарата помогал строить сам:

В 2020 году в OpenAI он был среди авторов работ о «схемах» нейросетей, где описан нейрон, реагирующий и на кошачьи морды, и на передки машин.
Такие нейроны объясняли суперпозицией: если понятий больше, чем нейронов, модель будто бы складывает несвязанные понятия в один нейрон.
Тогда модель приходится сначала распутывать второй нейросетью — разреженным автокодировщиком² — и только потом читать.
В 2023 году проект OpenAI по автоматическому объяснению нейронов, который начинал Каммарата, признал понятными меньше 2% нейронов GPT-2 XL.

Повод: теперь он считает, что знаменитые «спутанные» нейроны просто неверно прочитали. Нейрон «кошки и машины» из модели Google для распознавания картинок InceptionV1 реагирует на форму V: она есть и у кошачьей морды, и у передка машины, и у лисьей мордочки. На округлые формы тот же нейрон отвечает отрицательным сигналом. Поэтому Каммарата делит отклики каждого нейрона на два «полюса» — положительный и отрицательный. У каждого полюса может быть своя задача.

Считалось также, что признак машины модель спрятала в нейронах, которые откликаются на собак. На деле эти нейроны следят за позой: и машина, и собака бывают повёрнуты к камере передом. То, что раньше называли многозначностью нейрона, по словам Каммараты, — «часто скорее утверждение о наблюдателе, чем о нейроне».

Детали: суперпозицию Каммарата проверил напрямую: сжал один слой InceptionV1 в 48 раз, с 480 до 10 нейронов. По теории модель должна была начать складывать в нейроны несвязанное. Вместо этого нейроны стали отвечать за более широкие категории, но остались понятными.

В цифрах: по подсчётам Каммараты:

В открытой модели Qwen3-32B около 90% «полюсов» нейронов заняты одной главной задачей.
Ещё 7% полюсов отвечают за две связанные задачи, а 2–4% пока не объяснены.
В последнем слое InceptionV1 старые инструменты объясняли около 5% нейронов, исправленные — около 50%.
Та же модель, обученная заново современными методами, даёт около 70%, а современная сеть для картинок ConvNeXt того же размера — около 99%.

Интрига: один нейрон языковой модели срабатывал на сочетание «pr», а ещё на адреса, записанные в кодировке Base64, и на бенгальский текст. Каммарата решил, что это уж точно случайная смесь. «Но раскодируйте адреса — слова на „pr“. Переведите бенгальский — „pr“», — пишет он. Бенгальские слова, на которых срабатывал нейрон, в латинской записи тоже начинаются с «pr».

Но: слабые места автор называет сам:

Подробные опыты с контролем поставлены в основном на моделях для картинок, а по языковым моделям есть только выборочные проверки нейронов и разборы случаев.
Проценты зависят от порога: что считать одной задачей и насколько слабые отклики нейрона учитывать.
В моделях с триллионами параметров, например Kimi K3, он видит похожую картину, но целиком такие модели ещё не проверял.

Другая сторона: одни коллеги назвали эссе важной вехой в истории науки. Другие спорят:

Исследователь интерпретируемости³ Нил Нанда пишет, что эссе не меняет его позиции по ключевым вопросам: суперпозиция, по его мнению, всё же есть, а в слабых откликах нейронов хранятся заученные факты.
Лео Гао предлагает судить объяснение по тому, насколько точно по нему удаётся воспроизвести работу нейрона.
Джейк Мендел указывает, что без внимания остаётся «хвост» слабых откликов нейронов, а Дэвид Пфау напоминает, что техническую статью с подробностями опытов Goodfire ещё не выпустила.

Что дальше: Goodfire обещает отдельную техническую статью с опытами на языковых моделях. Дату компания не назвала.