ИИтак
Поиск

← Назад

словарь

Смесь экспертов

Архитектура нейросети, в которой часть слоёв разбита на много подсетей-«экспертов» (mixture of experts, MoE). Специальный маршрутизатор для каждого токена включает лишь несколько из них. Так у модели может быть очень много параметров, а вычислений на токен будет меньше, чем у «плотной» модели того же размера. Минус в том, что все эксперты всё равно приходится держать в памяти.

проверено по: huggingface.co ↗

См. также

В новостях

  1. Thinking Machines выпустила модель Inkling 2 Small и обещает выложить её в открытый доступ

    Устройство модели из множества подсетей-«экспертов», из которых для каждого фрагмента текста включаются лишь некоторые. Поэтому модель с огромным числом параметров работает быстрее и дешевле плотной модели того же размера.

  2. Baidu выложила модель ERNIE 5.5 Flash для дообучения, но не для ЕС, Британии и Южной Кореи

    Архитектура модели, в которой параметры разбиты на множество подсетей-«экспертов», и для каждого фрагмента текста включаются лишь некоторые из них. Так большая модель тратит на ответ меньше вычислений, чем плотная того же размера.

  3. Индийская Sarvam AI выпустила открытую модель Prism для быстрых решений

    Устройство модели, при котором она состоит из множества специализированных блоков, а на каждом шаге работает лишь небольшая их часть. Так большая модель тратит меньше вычислений.

  4. Mistral открыла веса улучшенной Large 4 — модели для кода и киберзащиты

    Устройство модели, при котором она состоит из множества блоков-«экспертов», а на каждый фрагмент текста включаются лишь некоторые из них. Поэтому модель с огромным числом параметров работает быстрее и дешевле, чем плотная модель того же размера.

  5. NVIDIA выпустила открытую модель для расшифровки речи на 40 языках

    Устройство модели, при котором она состоит из множества подсетей-«экспертов», а на каждый фрагмент данных включается лишь часть из них. Так большая модель тратит меньше вычислений на каждый ответ.

  6. Google Research рассказала, как «сон» помогает моделям запоминать новое

    Архитектура, в которой модель состоит из множества подсетей-«экспертов», а маршрутизатор для каждого токена включает лишь несколько из них. Так модель может быть очень большой, но на каждом шаге работает только её часть.

  7. Чипы Amazon Trainium справились с обучением моделей в тесте SemiAnalysis

    Устройство модели, при котором она состоит из множества подсетей-«экспертов», и на каждый токен работают лишь несколько из них. Так большая модель отвечает быстрее и дешевле.

  8. Moonshot AI выпустила модель Kimi K3.1 Pro и откроет её веса к 4 ноября

    Устройство модели, при котором её параметры разбиты на группы-«экспертов», и для каждого фрагмента текста включаются лишь некоторые из них. Так огромная модель работает быстрее и дешевле, чем плотная того же размера.

  9. MiniMax открыла веса модели M3.1 Flash для кода и агентов

    Устройство модели, в котором параметры разбиты на группы — «экспертов», и для каждого токена работает лишь небольшая их часть. Поэтому большая модель отвечает быстрее и дешевле плотной модели того же размера.

  10. NVIDIA позволила связать до восьми ИИ-компьютеров DGX Spark в кластер

    Устройство модели из многих подсетей-«экспертов», из которых на каждый токен включаются лишь некоторые. Поэтому большая модель работает быстрее и дешевле плотной модели того же размера.

  11. Обновлённая DeepSeek V4.1 Flash обошла открытых соперников в трёх рейтингах

    Устройство модели, в котором параметры разделены на множество подсетей-«экспертов», и для каждого токена включается лишь небольшая их часть. Так большая модель работает быстрее и дешевле плотной модели того же размера.

  12. StepFun выложила открытые веса модели Step 5 Preview для кода и финансов

    Архитектура модели, в которой параметры разбиты на группы-«эксперты», и каждый токен обрабатывает лишь часть из них. Так модель может быть очень большой, но отвечать быстрее и дешевле плотной модели того же размера.

  13. NVIDIA выпустила открытую модель Nemotron 3.5 Super VL для ИИ-агентов

    Устройство модели, при котором она состоит из множества подсетей-«экспертов», а на каждый токен включается лишь небольшая их часть. Так модель может быть очень большой, но работать быстрее плотной модели того же размера.

  14. Движок TokenSpeed ускорил Qwen3.8-Flash-Next до 685 токенов в секунду

    Устройство модели, при котором её параметры разбиты на множество подсетей-«экспертов», а для каждого токена работает лишь небольшая их часть. Так модель может быть большой, но обходиться дешевле в работе.

  15. NVIDIA выпустит открытую модель для агентов на ноутбуках RTX Spark

    Архитектура модели, в которой параметры разбиты на группы-«эксперты», и на каждый токен работает лишь небольшая их часть. Так модель с большим числом параметров отвечает быстрее и дешевле плотной модели того же размера.

  16. Microsoft научит Windows делить работу ИИ-агентов между ПК и облаком

    Устройство модели, при котором она состоит из многих подсетей-«экспертов», а на каждый токен включаются лишь некоторые из них. Поэтому модель с огромным числом параметров отвечает быстрее и дешевле плотной модели того же размера.

  17. Mistral выпустила модель Large 4 на триллион параметров и откроет её веса

    Устройство модели, при котором она состоит из множества подсетей-«экспертов», а на каждый токен включается лишь небольшая их часть. Так модель с огромным числом параметров отвечает быстрее и дешевле, чем плотная модель того же размера.

  18. Новая MiMo-V2.6-Flash от Xiaomi реже вызывает инструменты по кругу

    Архитектура нейросети, где модель состоит из множества подсетей-«экспертов» и для каждого токена включаются лишь некоторые из них. Поэтому модель с огромным числом параметров отвечает быстрее и дешевле, чем плотная модель того же размера.

  19. SemiAnalysis выделила в работе ИИ-агентов отдельный тип нагрузки на серверы

    Устройство модели, при котором каждый токен обрабатывает лишь небольшая часть её блоков-«экспертов», а не все параметры сразу. Так модель может быть очень большой, но работать дешевле.

  20. Hugging Face научила Transformers быстро запускать модели для llama.cpp

    Устройство модели из многих подсетей-«экспертов», из которых на каждый токен включаются лишь несколько. Так модель может быть большой по числу параметров, но работать быстрее.

  21. Xiaomi MiMo-V2.6-Pro возглавила независимый рейтинг открытых моделей

    Устройство модели, при котором её параметры разбиты на группы-«экспертов» и на каждый токен работает лишь небольшая их часть. Поэтому огромная модель обходится дешевле плотной того же размера.

  22. Xiaomi выложила открытую модель MiMo-V2.6-Pro-RL на триллион параметров

    Устройство нейросети, в котором модель состоит из множества подсетей-«экспертов», а маршрутизатор для каждого токена включает лишь несколько из них. Так модель может быть очень большой, но отвечает быстрее и дешевле плотной модели того же размера.

  23. Cohere выпустила North Small Translate — открытую модель для перевода

    Устройство нейросети, в котором модель разбита на много специализированных частей-«экспертов». На каждый фрагмент текста включаются лишь некоторые из них, поэтому модель работает быстрее и дешевле, чем обычная модель того же размера.

  24. NVIDIA: NIM обслуживает до 2,5 раза больше пользователей Nemotron 3 Ultra

    Архитектура нейросети (mixture of experts), в которой модель состоит из многих подсетей-«экспертов», а на каждый токен работает только небольшая их часть. Так модель с большим числом параметров обходится дешевле в работе.

  25. DeepSeek выпустила модель V4.1-Flash и сворачивает флагманскую V4-Pro

    Устройство модели, при котором её параметры разбиты на множество подсетей-«экспертов», а на каждый фрагмент текста включаются лишь некоторые из них. Так модель может быть очень большой, но на каждый ответ тратит меньше вычислений.