LoRA
LoRA (Low-Rank Adaptation, «низкоранговая адаптация») — способ дообучения больших моделей, при котором исходные веса замораживают, а обучают небольшие добавочные матрицы низкого ранга. Это требует гораздо меньше памяти и вычислений, чем полное дообучение, а готовые адаптеры легко хранить и подменять.
проверено по: arxiv.org ↗
См. также
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- UnslothСтартап и одноимённая открытая библиотека для быстрого и экономного по памяти дообучения больших языковых моделей, включая LoRA, QLoRA, полное дообучение и обучение с подкреплением. Команда также выпускает на Hugging Face сжатые (квантованные) версии популярных открытых моделей, в том числе в формате GGUF для локального запуска.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- Параметр моделиЧисло внутри модели машинного обучения, которое подбирается во время обучения на данных. У нейросети это веса связей между нейронами и смещения. Количество параметров показывает размер модели и во многом определяет её возможности и стоимость обучения и работы. Гиперпараметры (скорость обучения, число слоёв) отличаются тем, что их задают до обучения, а не подбирают в его ходе.
- Веса моделиЧисловые параметры нейросети, прежде всего коэффициенты связей между нейронами, которые подбираются при обучении и хранят всё, чему модель научилась. Код задаёт устройство модели и способ обучения, а веса — результат этого обучения. Если веса опубликованы, модель могут запускать и дообучать и другие компании; большим моделям для этого нужны серверы с дорогими видеокартами.
В новостях
Венские учёные дообучили модель Ai2 читать рукописные заметки археологов
Способ дообучения модели, при котором её исходные веса не меняются, а учится небольшой набор добавочных параметров; это быстрее и дешевле полного дообучения и требует меньше данных.
IBM уместила чат, выбор ответа и расшифровку речи в одну модель
Способ дообучения, при котором веса большой модели не меняют, а добавляют к ним небольшой набор дополнительных весов — адаптер. Адаптеры дёшево обучать, их легко подключать к модели и менять местами.
Модель Meta Muse Spark Open выдаёт пользователю до 600 токенов в секунду на стойке NVIDIA
Способ дообучения, при котором исходные веса модели не трогают, а обучают небольшие добавочные матрицы. Он намного дешевле полного дообучения по памяти и вычислениям.
Black Forest Labs выложила открытую модель для картинок FLUX 3 Image Klein
Способ дообучения, при котором исходные веса модели не меняют, а обучают небольшую добавку к ним. Так модель быстро и дёшево учат новому стилю, персонажу или задаче.
Google рассказала, как направлять генератор картинок, не меняя его веса
Способ дообучения, при котором исходные веса модели не трогают, а добавляют к её слоям небольшие матрицы-поправки. Для него нужен доступ к устройству модели.
NVIDIA объяснила, когда выбирать смесь экспертов, а когда плотную модель
Способ дообучения, при котором исходные веса модели не меняются, а обучаются небольшие добавочные матрицы. Требует гораздо меньше памяти и вычислений, чем полное дообучение.
NVIDIA, Alibaba и энтузиасты ускорили открытую видеомодель MiniMax H3
Способ дообучения, при котором к модели добавляют небольшой набор дополнительных весов, а не переобучают все её параметры. Такие дополнения весят мало, и их легко подключать и отключать.
Яндекс открыл языковую модель, на которой строит ответы Алисы AI в Поиске
Способ дообучения, при котором исходные веса модели не меняются, а обучаются небольшие добавочные матрицы. Такому дообучению нужно гораздо меньше памяти и вычислений, чем полному.
NVIDIA дообучила Nemotron распределять дефицитные детали между заводами
Способ дообучения, при котором исходные веса модели не меняются, а обучается небольшой набор дополнительных параметров — адаптер. Так дообучение требует меньше памяти и времени.