Параметр модели
Число внутри модели машинного обучения, которое подбирается во время обучения на данных. У нейросети это веса связей между нейронами и смещения. Количество параметров показывает размер модели и во многом определяет её возможности и стоимость обучения и работы. Гиперпараметры (скорость обучения, число слоёв) отличаются тем, что их задают до обучения, а не подбирают в его ходе.
проверено по: ru.wikipedia.org ↗
См. также
- Веса моделиЧисловые параметры нейросети, прежде всего коэффициенты связей между нейронами, которые подбираются при обучении и хранят всё, чему модель научилась. Код задаёт устройство модели и способ обучения, а веса — результат этого обучения. Если веса опубликованы, модель могут запускать и дообучать и другие компании; большим моделям для этого нужны серверы с дорогими видеокартами.
- Плотная модельНейросеть (dense model), в которой каждый токен обрабатывается всеми параметрами. В смеси экспертов, наоборот, маршрутизатор включает для каждого токена лишь часть сети. У плотной модели вычисления на токен пропорциональны полному размеру, зато архитектура проще и не требует маршрутизации.
- Смесь экспертовАрхитектура нейросети, в которой часть слоёв разбита на много подсетей-«экспертов» (mixture of experts, MoE). Специальный маршрутизатор для каждого токена включает лишь несколько из них. Так у модели может быть очень много параметров, а вычислений на токен будет меньше, чем у «плотной» модели того же размера. Минус в том, что все эксперты всё равно приходится держать в памяти.
- Законы масштабированияЭмпирические зависимости, которые показывают, как качество нейросети растёт с увеличением числа параметров, объёма данных и вычислений на обучение (scaling laws). Обычно это степенные законы, поэтому каждое следующее улучшение требует многократно больше ресурсов. С их помощью лаборатории планируют размер моделей и бюджет обучения.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
В новостях
NVIDIA обсуждает покупку Reflection AI или новые вложения в неё, пишет FT
Число, которое модель подбирает при обучении; от количества параметров зависят её размер и требования к вычислительным мощностям.
Диффузионная модель ALoDLM обошла исходную Qwen3 в среднем по 11 тестам
Число внутри нейросети, которое подбирается при обучении; общее число параметров служит мерой размера модели и того, сколько памяти и вычислений ей нужно.
Настольный ИИ-компьютер DGX Spark выйдет с 64 ГБ памяти от 4 999 долларов
Число внутри нейросети, которое подбирается при обучении. По количеству параметров грубо судят о размере модели и о том, сколько памяти ей нужно для работы.