Базовая модель
Языковая модель сразу после предобучения на большом массиве текстов, до настройки на диалог и выполнение инструкций (base model). Она продолжает текст, а не отвечает на запросы. Её дообучают под конкретные задачи, из неё же делают чат-версии. Иногда так же переводят английское «foundation model» — крупную модель общего назначения, на основе которой строят другие продукты.
проверено по: sebastianraschka.com ↗
См. также
- ПредобучениеПервый и самый ресурсоёмкий этап обучения нейросети, прежде всего большой языковой модели (pre-training). На нём модель учится на огромном массиве неразмеченных данных решать общую задачу, например предсказывать следующий токен в тексте. В результате получается базовая модель с общими знаниями и навыками, которую затем приспосабливают к конкретным задачам и нужному поведению дообучением.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- Фундаментальная модельБольшая модель, заранее обученная на огромном и разнообразном наборе данных (обычно с самообучением), которую затем приспосабливают к множеству разных задач с помощью дообучения или подсказок, а не обучают отдельную модель под каждую задачу. Термин (foundation model) ввели исследователи Стэнфордского университета в 2021 году. Понятие шире, чем большая языковая модель: так называют и модели для изображений, речи, биологии и других областей.
- Веса моделиЧисловые параметры нейросети, прежде всего коэффициенты связей между нейронами, которые подбираются при обучении и хранят всё, чему модель научилась. Код задаёт устройство модели и способ обучения, а веса — результат этого обучения. Если веса опубликованы, модель могут запускать и дообучать и другие компании; большим моделям для этого нужны серверы с дорогими видеокартами.
В новостях
Meta выпустила модели Muse Wonder для личных и рабочих агентов
Модель после предобучения на больших массивах текста, ещё без дообучения под диалог и задачи. Из неё затем делают ассистентов и агентов.