Учёные DeepMind и нейробиологи разложили спор о сознании ИИ на пять уровней

Четырнадцать исследователей, среди них сооснователь Google DeepMind Шейн Легг и нейробиолог Анил Сет, предложили оценивать возможное сознание ИИ по пяти уровням описания системы и сводить итог в одну вероятность.

Почему это важно: ошибиться можно в обе стороны, и обе ошибки дороги: машине без сознания отдадут права и ресурсы и помешают людям проверять, безопасно ли она себя ведёт, а сознательную оставят без защиты. Работа даёт сторонам спора общую схему и показывает, в чём именно они расходятся.

Повод: отчёт на 150 страниц вышел на arXiv 28 сентября. Часть авторов связана с Google DeepMind, но в работе оговорено, что это не позиция компании. К отчёту приложены код и онлайн-калькулятор, где признаки и веса можно расставить самому.

Как это работает: авторы откладывают вопрос, что такое сознание по своей природе, — трудную проблему сознания¹. Вместо него они спрашивают, какое устройство системы связано с переживаниями, и замечают: теории расходятся прежде всего в том, на каком уровне подробности смотреть. Теории, которым нужен особый материал — электромагнитные поля мозга, квантовые эффекты, живая нервная ткань, — авторы считают не отдельным уровнем, а дополнительным требованием к тому, из чего и как физически сделана система.

Уровни идут от самого общего к самому подробному:

• Поведение: бихевиорист судит только по тому, что система делает, — ведёт себя как сознательная, значит, сознательна.
• Алгоритм: теория глобального рабочего пространства² и близкие к ней спрашивают, какие вычисления идут внутри, независимо от «железа».
• Физическая причинная структура: для теории интегрированной информации³ важно, как детали машины реально влияют друг на друга, а не какую программу исполняют.
• Организм: биологический натурализм требует живой системы, которая сама себя поддерживает.
• Организм и среда: теории воплощённого познания требуют ещё и тела, действующего в мире.

Детали: у каждого уровня свои признаки, всего их 37 — от «теста Тьюринга на сознание» до регуляции собственного состояния. Итог байесовской модели — число от 0 до 1: среднее оценок по уровням, взвешенное по тому, какому уровню доверяет оценщик. Оценка каждого уровня при этом учитывает и признаки других: если система устроена как надо на самых подробных уровнях — организма и среды, — то, скорее всего, подходят и её вычисления, и поведение. В обратную сторону связь слабее: похожее поведение бывает у многих систем без нужного устройства внутри.

В цифрах: при равных весах уровней модель выдаёт такие оценки:

• Человек получает 1,000, термостат — 0,000, и никакие веса эти оценки не сдвигают.
• Муха получает 0,913: признаков поведения у неё три из девяти, зато есть все признаки организма и почти все — связи со средой.
• Языковая модель получает 0,397 в оптимистичном прочтении данных и 0,005 — в скептическом.

Расклад: оптимист засчитывает поведение и почти весь алгоритмический уровень. Он опирается на исследования интерпретируемости: например, Anthropic нашла в Claude Sonnet 4.5 «функциональные эмоции» — устойчивые рисунки активности внутри модели, которые соответствуют эмоциям и влияют на её решения. Если искусственно усилить рисунок «отчаяния», доля взлома вознаграждения⁴ растёт примерно с 5% до 70%. Скептик считает, что модели проходят лишь то, чему их учили подражать. Нижние три уровня оба почти целиком считают проваленными: модели работают на обычных чипах, ничем не рискуют и не имеют тела.

Интрига: выбор теории двигает оценку не меньше, чем сами данные. Если отдать по 40% веса поведению и алгоритму, оптимист получает 0,793, а если организму и среде — 0,099. Муха в тех же сценариях движется в обратную сторону: с 0,841 до 0,976.

Если шире: признаки сознания во многом совпадают с тем, что нужно для общего интеллекта: модель мира, модель себя, контроль над собственными рассуждениями. Отсюда вывод авторов: по некоторым теориям каждое более способное поколение ИИ может оказаться и более сильным кандидатом в сознательные.

Но: авторы предупреждают, что цифры по моделям — не измеренная вероятность сознания, а демонстрация того, как итог зависит от допущений; признаки в примерах расставлены условно. Совпадение с интеллектом тоже может оказаться иллюзией: признаки взяты из изучения людей, а люди и умны, и сознательны.

Единства нет и среди самих авторов: в работе оговорено, что не все они разделяют все её выводы. Сет, например, сильно сомневается в сознании ИИ и считает нежелательным создавать даже ИИ, который лишь кажется сознательным.