Трансформер
Архитектура нейронной сети (transformer), предложенная в 2017 году и основанная на механизме внимания: модель обрабатывает последовательность токенов целиком и для каждого токена взвешивает связи с остальными. Лежит в основе большинства современных языковых и мультимодальных моделей, вытеснив рекуррентные и свёрточные архитектуры в обработке последовательностей.
проверено по: arxiv.org ↗
См. также
- Механизм вниманияОсновная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.
- MambaАрхитектура нейросетевых слоёв на основе моделей пространства состояний, предложенная как альтернатива трансформеру. Хранит сжатое состояние вместо полного набора прошлых токенов, поэтому обрабатывает длинные последовательности дешевле механизма внимания; часто используется в гибридах со слоями внимания.
- TransformersОткрытая библиотека Hugging Face для Python с готовыми реализациями нейросетевых архитектур для текста, изображений, звука и мультимодальных задач. Через неё загружают модели с Hugging Face Hub, запускают и дообучают их, а другие инструменты обучения и инференса опираются на её описания моделей. Это программная библиотека, а не архитектура «трансформер», в честь которой она названа.
- Большая языковая модельБольшая языковая модель (large language model, LLM) — нейросеть с огромным числом параметров, обученная на больших массивах текста предсказывать следующий фрагмент и потому пригодная для широкого круга задач: диалога, перевода, программирования, анализа документов. Отличается от узкоспециализированных моделей универсальностью: её не обучают под одну предметную область.
В новостях
Передовые модели сбиваются на длинных цепочках изменений, показал тест Ai2
Архитектура нейросетей на основе механизма внимания: модель соотносит каждый фрагмент текста с другими фрагментами, а не несёт память вперёд шаг за шагом.
Mistral выпустила открытые модели Timestral для прогноза временных рядов
Архитектура нейросетей, в которой модель с помощью механизма внимания сопоставляет каждый элемент входа со всеми остальными; на ней построено большинство современных языковых моделей.
Глава Anthropic просил у Meta мощности для ИИ и получил отказ, пишет WSJ
Архитектура нейросетей, на которой построены почти все современные языковые модели. Её главная часть — механизм внимания: он позволяет модели учитывать связи между всеми словами текста сразу.
Яндекс заменил в тесте цепочку алгоритмов рекомендаций одной моделью Sona
Архитектура нейросетей, на которой построено большинство современных языковых моделей. Она обрабатывает последовательность целиком и с помощью механизма внимания учитывает связи между всеми её элементами.
IBM доказала преимущество квантовых схем над LLM в двух задачах. Но только в теории
Архитектура нейросети, на которой построено большинство современных языковых моделей. Механизм внимания позволяет ей учитывать связи между всеми словами в тексте.