Энкодер-декодер
Схема нейросети из двух частей: энкодер строит внутреннее представление всего входа, а декодер по нему порождает выход (encoder-decoder). Применяется в переводе, реферировании и других задачах «текст в текст»; большинство чат-моделей устроены иначе — они состоят только из декодера и продолжают заданный текст.
проверено по: huggingface.co ↗
См. также
- ТрансформерАрхитектура нейронной сети (transformer), предложенная в 2017 году и основанная на механизме внимания: модель обрабатывает последовательность токенов целиком и для каждого токена взвешивает связи с остальными. Лежит в основе большинства современных языковых и мультимодальных моделей, вытеснив рекуррентные и свёрточные архитектуры в обработке последовательностей.
- Механизм вниманияОсновная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
- TransformersОткрытая библиотека Hugging Face для Python с готовыми реализациями нейросетевых архитектур для текста, изображений, звука и мультимодальных задач. Через неё загружают модели с Hugging Face Hub, запускают и дообучают их, а другие инструменты обучения и инференса опираются на её описания моделей. Это программная библиотека, а не архитектура «трансформер», в честь которой она названа.
В новостях
Яндекс выложил языковую модель на 80 млрд параметров, обученную с нуля
Архитектура модели из двух частей: энкодер переводит входной текст во внутреннее представление, а декодер пишет по нему ответ. Большинство современных чат-моделей обходится одним декодером.