Сулейман заявил, что Microsoft догнала DeepSeek в коде при 12-кратной экономии вычислений

Глава Microsoft AI Мустафа Сулейман написал в соцсети X, что его команда повторила результат DeepSeek-V4-Pro-Base на тесте по коду. По его словам, на обучение ушло в 12 раз меньше вычислений.

Почему это важно: вычисления — самая дорогая часть обучения модели. Если цифра подтвердится, Microsoft AI нашла способ выйти на уровень крупной открытой модели, потратив двенадцатую долю её вычислений. Пока речь только о коде и о первом этапе обучения.

Предыстория: Microsoft AI — подразделение, которое делает для Microsoft собственные модели. В июне на конференции Build оно показало семь моделей, в том числе рассуждающую MAI-Thinking-1. Все они обучены с нуля и не учились на ответах чужих моделей.

Цитата: «Законы масштабирования¹, масштабирование… с нарастающей эффективностью!» — с этих слов Сулейман начал пост 15 октября.

Детали: сравнивали только итоги предобучения — первого этапа, на котором модель учится на огромном массиве текстов и кода. Проверяли модели на отложенном коде, то есть на коде, которого они не видели при обучении.

Проверили: DeepSeek-V4-Pro-Base — это открытая модель DeepSeek-V4-Pro до дообучения. По карточке модели на Hugging Face, в ней 1,6 трлн параметров. Но при обработке каждого токена — кусочка текста или кода — работают только 49 млрд из них. Обучали её на более чем 32 трлн токенов.

Между строк: откуда экономия, Сулейман не объяснил. Но ещё в июне он говорил, что состав, отбор и очистка данных значат не меньше, чем масштаб, и что примерно половину данных для предобучения моделей MAI составлял качественный код — а сравнение теперь проведено как раз на коде.

Но: Сулейман не назвал ни свою модель, ни её размер, ни сам тест, ни баллы, поэтому сравнение проверить нельзя.

Цель Сулейман тоже назвал в июне: войти в четвёрку ведущих ИИ-лабораторий мира. Он признавал, что пока Microsoft в неё не входит, а лидерами называл Google DeepMind, OpenAI и Anthropic.