Исследователь Epoch AI оценил отставание китайских моделей в 6–8 месяцев

Китайские модели ИИ выходят примерно на шесть–восемь месяцев позже американских моделей того же уровня, считает Жан-Станислас Денен, руководитель аналитической группы Epoch AI¹. Об этом и о том, насколько ИИ уже ускоряет собственную разработку, он спорил в подкасте Натана Ламберта, автора рассылки Interconnects.

Почему это важно: у китайских лабораторий намного меньше денег и вычислительных мощностей, чем у американских, а по возможностям они отстают всего на месяцы. От того, чем объясняется этот разрыв, зависит, поможет ли американским компаниям защита моделей от копирования.

В цифрах: оценки собеседников разошлись.

• Денен опирается на индекс ECI, который Epoch сводит из десятков бенчмарков: разные способы подсчёта дают шесть–восемь месяцев, изредка около четырёх.
• Ламберт считает, что Kimi K3 от Moonshot и GLM 5.2 от Zhipu отставали на два–четыре месяца, а по индексу Artificial Analysis² Kimi — возможно, меньше чем на два.
• Отставание в два месяца Денен считает следом подгонки под тесты; по его словам, в ECI расчёт только по закрытым бенчмаркам статистически значимой разницы не дал.

Интрига: сам Денен всё больше объясняет разрыв дистилляцией — обучением своих моделей на ответах чужих; его убедила в том числе работа Stolen Thoughts, которая показала, что скрытые рассуждения моделей относительно легко достать через API. Если дистилляцию пресечь, отставание, по его оценке, за полгода вырастет с шести месяцев примерно до восьми–девяти.

Другая сторона: Ламберт уверен, что без дистилляции разрыв был бы почти таким же, а объясняют его другие вещи:

• Прежде всего разница в вычислительных мощностях, а дистилляция, по его словам, лишь способ превратить деньги в качественные данные.
• Догонять проще, чем идти первым: американские лаборатории доказывают, что задача решаема, и остальным не нужно тратить ресурсы на поиск.
• Находки в устройстве моделей быстро расходятся между американскими компаниями вместе с уходящими сотрудниками, и китайские лаборатории, скорее всего, тоже до них доходят.
• Часть китайских компаний торгуется на бирже, поэтому им важнее хорошо выглядеть в бенчмарках.

Детали: Денен допускает, что поставщики данных сначала вместе с американскими лабораториями выясняют, какие среды обучения с подкреплением³ работают, а потом продают похожие другим, в том числе в Китай. Ламберт не раз слышал о том же, в том числе от людей в Китае: достаточно выждать и купить среды, которые купила Anthropic, за десятую часть цены.

Но: Ламберт сомневается, что утечку вообще можно перекрыть: «Если вы открываете доступ к модели через API, сейчас и в ближайшем будущем надо исходить из того, что её возможности можно извлечь, даже если у неё есть кое-какая защита». Он вспомнил свежий случай: трое человек с помощью общедоступных моделей Claude взломали OpenAI и получили доступ к её внутренним системам.

Общая картина: спор шёл на фоне заявлений OpenAI и Anthropic о том, что ИИ вот-вот начнёт сам ускорять разработку ИИ. Если так и будет, американские лаборатории уйдут от китайских далеко вперёд, заметил Ламберт.

Расклад: Денен разобрал, что показывают опубликованные данные OpenAI:

• Расходы исследователей компании на её агента для программирования Codex растут примерно вдвое каждый месяц.
• В других отделах расходы на Codex резко выросли весной, а летом перестали расти.
• Чаще всего исследователи отдают ИИ инженерные задачи и поиск неисправностей.
• В стратегических решениях — как распределить вычислительные мощности и какое направление исследований выбрать — OpenAI большой помощи от ИИ не нашла.

«Не думаю, что это сильный довод в пользу того, что через полгода случится software intelligence explosion⁴», — сказал Денен. Ламберт сравнил происходящее с аспирантурой: младшие аспиранты станут в десять раз продуктивнее, но исследовательская программа их научного руководителя в десять раз быстрее не пойдёт.