Плотная модель
Нейросеть (dense model), в которой каждый токен обрабатывается всеми параметрами. В смеси экспертов, наоборот, маршрутизатор включает для каждого токена лишь часть сети. У плотной модели вычисления на токен пропорциональны полному размеру, зато архитектура проще и не требует маршрутизации.
проверено по: sebastianraschka.com ↗
См. также
- Смесь экспертовАрхитектура нейросети, в которой часть слоёв разбита на много подсетей-«экспертов» (mixture of experts, MoE). Специальный маршрутизатор для каждого токена включает лишь несколько из них. Так у модели может быть очень много параметров, а вычислений на токен будет меньше, чем у «плотной» модели того же размера. Минус в том, что все эксперты всё равно приходится держать в памяти.
- Параметр моделиЧисло внутри модели машинного обучения, которое подбирается во время обучения на данных. У нейросети это веса связей между нейронами и смещения. Количество параметров показывает размер модели и во многом определяет её возможности и стоимость обучения и работы. Гиперпараметры (скорость обучения, число слоёв) отличаются тем, что их задают до обучения, а не подбирают в его ходе.
- Разреженное вниманиеРазреженное внимание (sparse attention) — разновидность механизма внимания, при которой каждый токен учитывает не все токены контекста, а только их часть: соседей в окне, токены по заданному шаблону или фрагменты, отобранные как самые значимые. Так снижается квадратичная стоимость вычислений, и модели легче работать с длинными последовательностями. Линейное внимание заменяет саму формулу внимания приближением, а разреженное сохраняет обычное внимание, но пропускает часть пар токенов.
В новостях
Ai2 ускорил в 2,7 раза свою открытую систему обучения больших моделей
Модель, в которой на каждый токен работают все её параметры. Этим она отличается от смеси экспертов, где на каждый токен включается только часть блоков.