«Шесть-восемь месяцев»: исследователь Epoch AI оценил отставание китайских моделей

Китайские лаборатории отстают от OpenAI и Anthropic примерно на шесть-восемь месяцев. Так считает Жан-Станислас Денен (Jean-Stanislas Denain), руководитель аналитической группы в Epoch AI¹. Он сравнил даты выхода моделей одного уровня по индексу ECI², который Epoch собирает из десятков бенчмарков. В подкасте Натана Ламберта, автора рассылки Interconnects, они спорили об этом разрыве и о том, скоро ли ИИ начнёт сам ускорять собственную разработку.

Ламберт считает, что Kimi K3 от Moonshot и GLM 5.2 от Zhipu подобрались ближе: отстают на два-четыре месяца. По сводному рейтингу Artificial Analysis Kimi одно время отставала даже меньше чем на два. Денену два месяца кажутся результатом подгонки под тесты. Сам расчёт Epoch подгонка, по его словам, почти не искажает. Отставание пересчитали только по закрытым бенчмаркам и по тестам, вышедшим после модели, и статистически значимой разницы не нашли.

Загадка в том, что денег и вычислительных мощностей у китайских компаний намного меньше, чем у американских, а по возможностям моделей они отстают куда меньше. Денен говорит, что стал придавать больше веса дистилляции знаний³ — обучению на ответах чужих моделей. Одна из причин — исследование Stolen Thoughts: оно показало, что цепочки рассуждений закрытых моделей сравнительно легко вытянуть через API. Если бы дистилляцию удалось по-настоящему остановить, через полгода отставание, по его прикидке, выросло бы с шести месяцев до восьми-девяти. Ламберт не согласен: без дистилляции разрыв был бы примерно таким же, а главная причина отставания — нехватка вычислительных мощностей.

Денен допускает и другое объяснение, хотя не уверен, насколько оно весомо. Поставщики данных вместе с передовыми лабораториями ищут, какие среды для обучения с подкреплением действительно улучшают модель. Такая среда — это набор задач, на которых модель учится методом проб и ошибок. На поиски удачных сред лаборатория тратит много вычислительных мощностей. Потом поставщик делает похожие среды и с задержкой продаёт их другим, в том числе в Китай. Ламберт подтвердил, что слышал такое несколько раз, в том числе от людей в Китае: достаточно подождать и купить среды, которые покупала Anthropic, за десятую часть цены.

Кое-что о китайских компаниях Денен и его коллега Шерил Ву вытащили из вакансий: их разбор вышел в июне. Zhipu (Z.ai) ищет продавцов для корпоративных клиентов заметно чаще, чем MiniMax и Moonshot, а MiniMax сильнее нацелена на зарубежные рынки. В одном из регионов компании набирают сотрудников для дата-центров. Судя по этому, часть лабораторий строит собственные дата-центры, а не арендует мощности у Alibaba. Много и стажёров: у многих компаний на сайте отдельная вкладка для стажировок, и часть этих людей, возможно, работает с данными.

К разговорам о скором самоускорении ИИ Денен относится сдержанно. Больше всего его впечатлил график из недавнего разбора OpenAI. Расходы исследователей компании на Codex, её агента для программирования, росли примерно вдвое каждый месяц. В других отделах всплеск случился весной, а летом рост остановился. Исследователи стали чаще использовать Codex в основном для инженерных задач и поиска неполадок. А в стратегических решениях — как распределить вычисления, куда вести исследования — заметной помощи от ИИ OpenAI не нашла.

«Не думаю, что это сильное свидетельство того, что через полгода у нас случится программный взрыв интеллекта», — говорит Денен. Так называют сценарий, в котором ИИ сам улучшает алгоритмы и методы, по которым учат новые модели, а более сильные модели улучшают их ещё быстрее. Этот цикл разгоняется сам собой и не упирается в выпуск чипов — отсюда слово «программный».

Ламберт сравнил это с аспирантурой: младшие аспиранты станут в десять раз продуктивнее, но исследования их научного руководителя не пойдут в десять раз быстрее. Денен добавил, что даже если каждый исследователь ускорится вдесятеро, компанию в целом всё равно могут сдерживать вычислительные мощности.