Законы масштабирования
Эмпирические зависимости, которые показывают, как качество нейросети растёт с увеличением числа параметров, объёма данных и вычислений на обучение (scaling laws). Обычно это степенные законы, поэтому каждое следующее улучшение требует многократно больше ресурсов. С их помощью лаборатории планируют размер моделей и бюджет обучения.
проверено по: arxiv.org ↗
См. также
- ПредобучениеПервый и самый ресурсоёмкий этап обучения нейросети, прежде всего большой языковой модели (pre-training). На нём модель учится на огромном массиве неразмеченных данных решать общую задачу, например предсказывать следующий токен в тексте. В результате получается базовая модель с общими знаниями и навыками, которую затем приспосабливают к конкретным задачам и нужному поведению дообучением.
- Параметр моделиЧисло внутри модели машинного обучения, которое подбирается во время обучения на данных. У нейросети это веса связей между нейронами и смещения. Количество параметров показывает размер модели и во многом определяет её возможности и стоимость обучения и работы. Гиперпараметры (скорость обучения, число слоёв) отличаются тем, что их задают до обучения, а не подбирают в его ходе.
- ТокенТокен — минимальная единица текста, которой оперирует языковая модель: обычно это часть слова, целое слово или знак препинания. В токенах измеряют длину контекста и скорость генерации (токенов в секунду), а также тарифицируют работу коммерческих моделей.
В новостях
Сулейман заявил, что Microsoft догнала DeepSeek в коде при 12-кратной экономии вычислений
Эмпирические закономерности, по которым качество модели предсказуемо растёт, когда увеличивают число параметров, объём данных и вычисления на обучение.
Натан Ламберт не ждёт взрыва интеллекта. Anthropic резкого ускорения пока не видит
Эмпирические закономерности, которые связывают качество языковой модели с объёмом вычислений, данных и размером самой модели. Из них следует, что для заметного улучшения ресурсы приходится наращивать многократно.