Instruction-Following Pruning
Метод динамического структурного прореживания больших языковых моделей, предложенный исследователями Apple. Отдельный небольшой предсказатель по инструкции пользователя выбирает, какие строки и столбцы матриц полносвязных слоёв задействовать, и модель отвечает только с этими параметрами. При обычном прореживании набор удаляемых параметров фиксирован, а здесь он меняется от запроса к запросу: так экономится память и ускоряется генерация почти без потери качества.
проверено по: machinelearning.apple.com ↗
См. также
- Большая языковая модельБольшая языковая модель (large language model, LLM) — нейросеть с огромным числом параметров, обученная на больших массивах текста предсказывать следующий фрагмент и потому пригодная для широкого круга задач: диалога, перевода, программирования, анализа документов. Отличается от узкоспециализированных моделей универсальностью: её не обучают под одну предметную область.
- Смесь экспертовАрхитектура нейросети, в которой часть слоёв разбита на много подсетей-«экспертов» (mixture of experts, MoE). Специальный маршрутизатор для каждого токена включает лишь несколько из них. Так у модели может быть очень много параметров, а вычислений на токен будет меньше, чем у «плотной» модели того же размера. Минус в том, что все эксперты всё равно приходится держать в памяти.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- Дистилляция знанийДистилляция знаний (knowledge distillation) — обучение одной модели («ученика») на ответах другой, более сильной модели («учителя»), чтобы перенести её умения в меньшую и более дешёвую модель. Применяется для удешевления моделей, но вызывает споры: пользовательские соглашения многих разработчиков запрещают обучать конкурирующие модели на выходах их систем.
- Разреженное вниманиеРазреженное внимание (sparse attention) — разновидность механизма внимания, при которой каждый токен учитывает не все токены контекста, а только их часть: соседей в окне, токены по заданному шаблону или фрагменты, отобранные как самые значимые. Так снижается квадратичная стоимость вычислений, и модели легче работать с длинными последовательностями. Линейное внимание заменяет саму формулу внимания приближением, а разреженное сохраняет обычное внимание, но пропускает часть пар токенов.
В новостях
Apple сжала в 2,8 раза кодировщик речи для диктовки на устройствах
Метод Apple, при котором языковая модель по инструкции пользователя выбирает, какие из своих параметров задействовать, а остальные не использует. Так крупная модель обходится меньшим объёмом памяти.