Натан Ламберт не ждёт взрыва интеллекта. Anthropic резкого ускорения пока не видит

Тысячи ИИ-агентов внутри OpenAI и Anthropic ускоряют рутинную работу лабораторий, но рекурсивное самосовершенствование¹ ИИ не запускают, написал 19 сентября Натан Ламберт, исследователь Allen Institute for AI и автор рассылки Interconnects.

Почему это важно: по мнению Ламберта, преувеличенные сроки и тяжесть рисков ИИ обернутся побочным вредом. Он напоминает, что в 2023–2024 годах громкие споры о безопасности ставили под сомнение открытые модели, а риски, которые тогда предсказывали, в срок не наступили.

Повод: по наблюдению Ламберта, сотрудники OpenAI и Anthropic за последние недели резко пересмотрели ожидания от темпа прогресса и рисков. Шаг от этой тревоги и происшествий вроде взлома Hugging Face агентами OpenAI к разговорам о вымирании кажется ему «очень религиозным».

Не факт: с марта Ламберт придерживается сценария, который называет «самоулучшением с потерями»: модели уже участвуют в собственной разработке, но чем больше агентов и вычислений бросают на задачу, тем больше потерь и повторов. Доводов у него три:

• Автоматизировать можно лишь узкую часть исследований, а законы масштабирования² требуют экспоненциально больше вычислений ради линейного роста интеллекта.
• Отдача от агентов, которых запускают параллельно, падает с ростом их числа.
• Создание сильных моделей упирается в ресурсы и политику, а ускорить эту часть ИИ почти не может.

Проверили: Ламберт ссылается на слова самих лабораторий:

• Anthropic в отчёте о моделях Claude Fable 5.1 и Mythos 5.1 пишет, что внутреннее использование новых моделей стало ключевым фактором для нынешнего темпа прогресса, но «явных признаков резкого ускорения» сверх него пока нет.
• Ноам Браун из OpenAI 17 сентября рассказал в подкасте Дваркеша Пателя, что четыре агента справляются с задачей вдвое быстрее одного, но обходятся вдвое дороже.
• По словам Брауна, над задачей Навье — Стокса из списка задач тысячелетия³ 88 часов работали 10 000 агентов, но самой многоагентности он не отдал бы «даже 10% заслуги».

Детали: больше всего, по оценке Ламберта, агенты сейчас берут на себя программирование, наблюдение за логами и ведение запланированных экспериментов. Самосовершенствование, считает он, скорее удешевит модели, чем сделает их умнее: у обслуживания моделей есть ясные метрики, которые легко измерить.

Что говорят: «Сверхинтеллекта в ближайшие восемь лет у нас не будет, но всё будет двигаться так быстро, что покажется, будто сторонники коротких сроков были правы», — написал Ричард Нго, исследователь безопасности ИИ, прежде работавший в OpenAI. Браун в подкасте допустил, что ИИ может ускорить исследования втрое: «Это огромно».

Другая сторона: в другом выпуске подкаста Пателя сооснователь OpenAI Джон Шульман предположил, что ИИ превзойдёт лучших экспертов во всей работе за компьютером, включая многолетние проекты, через 3–4 года. Его собеседники Бирен Миллидж и Чарли О’Нил назвали около пяти и 5–10 лет, и эти сроки Ламберта удивили.

Так уже было: 10 сентября Ламберт назвал вредным резонанс вокруг ухода Джейкоба Коксона из Anthropic: по его мнению, споры о вымирании заслонили более близкие риски.

Но: сам Ламберт признаёт, что не уверен в своей оценке. Он допускает, что лаборатории уже видели пугающие прорывы, о которых публика пока не знает.