Фундаментальная модель
Большая модель, заранее обученная на огромном и разнообразном наборе данных (обычно с самообучением), которую затем приспосабливают к множеству разных задач с помощью дообучения или подсказок, а не обучают отдельную модель под каждую задачу. Термин (foundation model) ввели исследователи Стэнфордского университета в 2021 году. Понятие шире, чем большая языковая модель: так называют и модели для изображений, речи, биологии и других областей.
проверено по: arxiv.org ↗
См. также
- Большая языковая модельБольшая языковая модель (large language model, LLM) — нейросеть с огромным числом параметров, обученная на больших массивах текста предсказывать следующий фрагмент и потому пригодная для широкого круга задач: диалога, перевода, программирования, анализа документов. Отличается от узкоспециализированных моделей универсальностью: её не обучают под одну предметную область.
- Базовая модельЯзыковая модель сразу после предобучения на большом массиве текстов, до настройки на диалог и выполнение инструкций (base model). Она продолжает текст, а не отвечает на запросы. Её дообучают под конкретные задачи, из неё же делают чат-версии. Иногда так же переводят английское «foundation model» — крупную модель общего назначения, на основе которой строят другие продукты.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- ПредобучениеПервый и самый ресурсоёмкий этап обучения нейросети, прежде всего большой языковой модели (pre-training). На нём модель учится на огромном массиве неразмеченных данных решать общую задачу, например предсказывать следующий токен в тексте. В результате получается базовая модель с общими знаниями и навыками, которую затем приспосабливают к конкретным задачам и нужному поведению дообучением.
- Передовая модельМодель ИИ из числа самых мощных на данный момент, на переднем крае возможностей отрасли (frontier model). Понятие относительное: с выходом более сильных систем модель перестаёт быть передовой. Именно к таким моделям разработчики и регуляторы предъявляют самые строгие требования к оценке рисков и безопасности.
В новостях
Один из руководителей Tencent AI Lab перешёл в ByteDance Seed, пишет InfoQ
Большая модель, обученная на огромном объёме разнородных данных, которую затем приспосабливают к множеству разных задач. На таких моделях строят чат-ботов, агентов и другие ИИ-сервисы.
Стартап Себастьяна Труна привлёк 130 млн долларов, пишет The Information
Большая модель, обученная на огромном объёме разнородных данных: её потом приспосабливают под множество разных задач. На таких моделях построены, например, современные чат-боты.
CERN и Mistral договорились вместе создать модель для физики частиц
Большая модель, заранее обученная на огромном массиве данных, которую потом приспосабливают к множеству разных задач, а не обучают заново под каждую.