Словарь
Instruction-Following Pruning
Метод динамического структурного прореживания больших языковых моделей, предложенный исследователями Apple. Отдельный небольшой предсказатель по инструкции пользователя выбирает, какие строки и столбцы матриц полносвязных слоёв задействовать, и модель отвечает только с этими параметрами. При обычном прореживании набор удаляемых параметров фиксирован, а здесь он меняется от запроса к запросу: так экономится память и ускоряется генерация почти без потери качества.