Один исследователь Mirendil с ИИ-агентами обучил модель для кода с нуля

Стартап Mirendil утверждает, что его модель для программирования Mirendil-Base обучил с нуля один исследователь вместе с ИИ-агентами — за 3,5 месяца и меньше чем за 10 млн долларов на вычисления. Компания объявила об этом 21 октября.

Почему это важно: обычно большую модель с нуля обучает отдельная команда инженеров. Mirendil считает, что теперь всё упирается в вычисления, данные и выбор направления, а не в число людей, и называет Mirendil-Base первым тому подтверждением.

Предыстория: Mirendil из Сан-Франциско основали бывшие исследователи Anthropic, глава компании — Бехнам Нейшабур. Стартап привлёк 200 млн долларов в посевном раунде от Andreessen Horowitz и Kleiner Perkins и строит системы, которые автоматизируют исследования в ИИ.

Как это работает: по описанию компании, работу поделили так:

• Агенты написали больше 99% кода, запускали эксперименты и разбирались, почему те срываются.
• Исследователь выбирал, что пробовать, решал, каким результатам верить, и вмешивался, когда было нужно; его имя компания не называет.
• Начали с пустого репозитория: инфраструктуру обучения, архитектуру и обработку данных написали заново поверх библиотек PyTorch и JAX.
• Модель училась только на открытых данных — коде с GitHub, веб-страницах, публичных наборах — без дистилляции¹ и купленных данных.

Детали: меньше 10 млн долларов — это, по словам компании, всё вместе: исследования, мелкие эксперименты, финальный запуск обучения, обработка данных и оплата языковых моделей, на которых работали агенты.

Расклад: в семействе три модели, и компания называет только диапазоны их размеров:

• Mirendil-Base — от 100 до 500 млрд параметров; это базовая модель, то есть только предобученная, и её дообучение уже началось.
• Mirendil-Base-Large — от 500 млрд до 2 трлн параметров, пройдено около 80% обучения.
• Mirendil-Base-XL — от 2 до 10 трлн параметров, пройдено около 19%, и, по словам компании, она уже близка к нынешнему результату Large.

В цифрах: компания проверила, насколько хорошо модели предсказывают код из семи репозиториев, выложенных уже после того, как модели обучили. Счёт идёт в битах на байт²: чем меньше, тем лучше.

Замеры Mirendil; параметры — общее число.

Что говорят: «Один человек в паре с ИИ может построить системы, на которые год назад понадобилась бы команда из десяти человек и больше», — пишет в рассылке Import AI сооснователь Anthropic Джек Кларк, который в октябре на встрече МВФ заявил, что сингулярность уже началась. «Агенты могут сократить команду, нужную для предобучения³ модели. Но не счёт за вычисления», — возразил пользователь соцсети X Правин Кумар.

Но: все замеры провела сама компания, и они узкие:

• Метрика показывает, насколько хорошо модель предугадывает код, а не то, как она решает задачи программиста.
• Kimi K3 и GLM-5.3 в сравнении — дообученные модели, а на этой метрике такие обычно чуть хуже базовых; компания сама это оговаривает.
• Модель пока закрыта: ни весов, ни доступа через API.

Что дальше: Нейшабур пообещал независимые оценки, результаты после дообучения и доступ через API «раньше, чем вы думаете». Следующую модель, по словам компании, отчасти будут строить уже модели Mirendil.

«Mirendil-Base не построила себя сама: её построил опытный человек с помощью ИИ-инструментов», — оговаривает компания. И добавляет: «Мы не думаем, что уже достигли полностью автономного рекурсивного самосовершенствования⁴, но мы ближе, чем когда-либо».