Словарь
YaRN
Метод расширения контекстного окна (Yet another RoPE extensioN) для моделей с вращательными позиционными кодировками RoPE: частоты кодировки масштабируются неравномерно, что позволяет модели работать с текстами длиннее обучающих. Требует небольшого дообучения или вовсе обходится без него, в отличие от полного переобучения на длинных текстах.