Большая языковая модель
Большая языковая модель (large language model, LLM) — нейросеть с огромным числом параметров, обученная на больших массивах текста предсказывать следующий фрагмент и потому пригодная для широкого круга задач: диалога, перевода, программирования, анализа документов. Отличается от узкоспециализированных моделей универсальностью: её не обучают под одну предметную область.
проверено по: en.wikipedia.org ↗
См. также
- Базовая модельЯзыковая модель сразу после предобучения на большом массиве текстов, до настройки на диалог и выполнение инструкций (base model). Она продолжает текст, а не отвечает на запросы. Её дообучают под конкретные задачи, из неё же делают чат-версии. Иногда так же переводят английское «foundation model» — крупную модель общего назначения, на основе которой строят другие продукты.
- ТрансформерАрхитектура нейронной сети (transformer), предложенная в 2017 году и основанная на механизме внимания: модель обрабатывает последовательность токенов целиком и для каждого токена взвешивает связи с остальными. Лежит в основе большинства современных языковых и мультимодальных моделей, вытеснив рекуррентные и свёрточные архитектуры в обработке последовательностей.
В новостях
На ИИ пришлось 77% мировых венчурных вложений в первой половине года
Нейросеть, обученная на огромных объёмах текста предсказывать следующее слово. На таких моделях работают чат-боты вроде ChatGPT, Claude и Gemini.