Словарь

Смесь экспертов

Архитектура нейросети, в которой часть слоёв разбита на много подсетей-«экспертов» (mixture of experts, MoE). Специальный маршрутизатор для каждого токена включает лишь несколько из них. Так у модели может быть очень много параметров, а вычислений на токен будет меньше, чем у «плотной» модели того же размера. Минус в том, что все эксперты всё равно приходится держать в памяти.

В новостях

Независимый рейтинг поставил MiMo-V2.6-Pro от Xiaomi первой среди открытых моделейУстройство модели, при котором она разделена на множество подсетей-«экспертов», и на каждый токен работают лишь некоторые из них. Поэтому огромная модель тратит на ответ меньше вычислений, чем плотная модель того же размера.22 сентября
Xiaomi выложила MiMo-V2.6-Flash-RL — облегчённую открытую модель для агентовАрхитектура нейросети, в которой модель состоит из множества подсетей-«экспертов», а на каждый токен включаются лишь некоторые из них. Так модель с огромным числом параметров работает быстрее и дешевле, чем плотная модель того же размера.21 сентября
Xiaomi выпустила MiMo-V2.6-Pro-RL — открытую модель на 1 трлн параметров для агентовАрхитектура нейросети, в которой модель состоит из множества подсетей-«экспертов», а на каждый фрагмент текста включаются лишь некоторые из них. Так модель с огромным числом параметров работает быстрее и дешевле плотной модели того же размера.21 сентября
Джефф Дин впервые выступил публично после ухода из Google и рассказал о новом стартапеАрхитектура нейросети, где модель состоит из множества подсетей-«экспертов». На каждый запрос работает только часть из них: так большая модель обходится дешевле в работе.21 сентября
Яндекс рассказал, как обучал открытую модель Alice AI Foundation, и выложил свои бенчмаркиАрхитектура, в которой модель разбита на множество подсетей и на каждый запрос включает лишь некоторые из них. Поэтому огромная модель работает почти так же быстро и дёшево, как маленькая.21 сентября
Яндекс выложил открытую базовую модель AliceAI-Foundation на 80 млрд параметровАрхитектура, в которой модель состоит из множества небольших подсетей-«экспертов» и для каждого токена включает лишь несколько из них. Поэтому модель на 80 млрд параметров работает со скоростью и затратами, близкими к модели на 3 млрд.19 сентября
Vera Rubin NVL72 в MLPerf: до 3,7 раза быстрее GB300 на Qwen3-VL и в 2,5 раза на DeepSeek-R1Архитектура, в которой модель состоит из множества подсетей-«экспертов», и на каждый токен работает лишь часть из них. Так устроены DeepSeek-R1 и Qwen3-VL, поэтому экспертов можно распределить по разным видеокартам.16 сентября
NVIDIA на примере Nemotron 3.5 Lightning объяснила, когда смесь экспертов лучше плотной моделиУстройство модели, в котором на каждый токен работает лишь часть параметров, выбранная маршрутизатором. Так модель выдаёт ответы быстрее плотной модели того же размера, но видеопамяти ей нужно столько же.15 сентября
NVIDIA в 10 раз ускорила обучение моделей-«смесей экспертов» на JAXАрхитектура, в которой вместо одного большого блока модели работают много маленьких «экспертов», и каждый токен обрабатывают лишь некоторые из них. Так модель с огромным числом параметров обходится дешевле в обучении, но нагрузка на экспертов распределяется неравномерно.14 сентября
Яндекс открыл базовую модель, на которой работают быстрые ИИ-ответы в ПоискеМодель разбита на много специализированных блоков, и на каждый фрагмент текста включаются только некоторые из них. Поэтому модель с 35 млрд параметров работает почти так же быстро, как модель с 600 млн.11 сентября
Cohere выпустила открытую модель-переводчик North Small Translate: по её тестам она обходит DeepL и GoogleМодель состоит из множества подсетей, но для каждого фрагмента текста включается только часть из них. Поэтому она отвечает быстрее и обходится дешевле, чем плотная модель того же общего размера.11 сентября
Яндекс выложил AliceAI-T5 — модель на 35 млрд параметров, из которых работают 0,6 млрдАрхитектура, в которой модель состоит из множества небольших подсетей-«экспертов», и каждое слово обрабатывают только несколько из них. Поэтому модель может хранить много знаний и при этом работать быстро: вычислений нужно как у маленькой модели.10 сентября
DeepSeek открыла веса V4.1-Flash: на 552 млрд параметров, но с очень лёгкой памятью контекстаАрхитектура, в которой модель состоит из множества подсетей-«экспертов», и на каждый токен включаются лишь некоторые из них. Поэтому огромная по общему размеру модель работает со скоростью и стоимостью гораздо меньшей.10 сентября
IBM и Red Hat запустили GLM-5.2 на 544 картах H100 для 3 000 агентов разомАрхитектура, в которой модель состоит из множества подсетей-«экспертов» и на каждый токен включает лишь часть из них. Поэтому модель на сотни миллиардов параметров считает быстрее плотной модели того же размера, но целиком в память одного сервера всё равно не помещается.8 сентября
GigaChat 3.5 Reasoning: первая «думающая» модель Сбера с открытыми весами на 432BАрхитектура, в которой модель состоит из многих подсетей, а на каждый токен включается лишь небольшая их часть. Поэтому GigaChat 3.5 Reasoning с 432 млрд параметров работает примерно как модель на 28 млрд по затратам.3 сентября
Cohere советует компаниям не звать большую модель туда, где справится малаяУстройство модели, при котором она состоит из множества подсетей-«экспертов» и для каждого фрагмента текста включает лишь некоторые из них. Поэтому North Mini Code знает на 30 млрд параметров, а вычисляет на 3 млрд.2 сентября
DeepSeek научила V4 Flash видеть: вышла экспериментальная модель с открытыми весамиАрхитектура, в которой модель состоит из множества подсетей-«экспертов», и на каждый токен включаются лишь некоторые из них. Поэтому большая модель считает быстрее и дешевле, чем плотная того же размера.31 августа
Alibaba открыла веса Qwen3.8-Flash-Next — модели, по которой можно судить о будущем Qwen4Архитектура, в которой модель состоит из многих подсетей-«экспертов», а на каждый токен включается лишь малая часть из них. Поэтому модель на 125 млрд параметров работает со скоростью гораздо меньшей.26 августа
NVIDIA: стойка Vera Rubin NVL72 выполняет для агентов до 30 раз больше работы на мегаваттУстройство модели, при котором она состоит из множества подсетей-«экспертов» и на каждый токен включает лишь некоторые из них. Такие модели дешевле в работе, но экспертов нужно раскладывать по многим GPU с быстрой связью.24 августа
Liquid AI ускорила малые модели LFM2.5 до 3,2 раза с помощью черновых моделей DSparkУстройство модели, при котором на каждый токен работает только часть её блоков-«экспертов». Так, у LFM2.5-8B-A1B около 8 млрд параметров, но на каждом шаге задействуется примерно 1 млрд.20 августа
Alibaba открыла веса Qwen3.8-Max на 2,4 трлн параметров, NVIDIA показала её скоростьАрхитектура, в которой модель состоит из множества подсетей-«экспертов», а маршрутизатор включает для каждого токена лишь несколько из них. Поэтому огромная модель обходится в работе примерно как гораздо меньшая плотная.12 августа
NVIDIA выпустила Nemotron 3.5 Lightning — малую открытую модель для рутинной работы агентовАрхитектура, в которой модель разбита на множество подсетей-«экспертов», а маршрутизатор отправляет каждый токен лишь к нескольким из них. Поэтому модель работает быстрее плотной модели того же размера.11 августа
Amazon раздала 34 гранта на вычисления на своих ИИ-чипах Trainium для работ по безопасному ИИАрхитектура, в которой модель состоит из многих подсетей-«экспертов», и для каждого токена работает лишь часть из них. Так можно строить модели на триллион параметров, но их трудно распределить по тысячам чипов.5 августа

← Весь словарь