Unsloth
Стартап и одноимённая открытая библиотека для быстрого и экономного по памяти дообучения больших языковых моделей, включая LoRA, QLoRA, полное дообучение и обучение с подкреплением. Команда также выпускает на Hugging Face сжатые (квантованные) версии популярных открытых моделей, в том числе в формате GGUF для локального запуска.
проверено по: github.com ↗
См. также
- LoRALoRA (Low-Rank Adaptation, «низкоранговая адаптация») — способ дообучения больших моделей, при котором исходные веса замораживают, а обучают небольшие добавочные матрицы низкого ранга. Это требует гораздо меньше памяти и вычислений, чем полное дообучение, а готовые адаптеры легко хранить и подменять.
- GGUFGGUF (GPT-Generated Unified Format) — бинарный формат файлов нейросетевых моделей, разработанный для экосистемы ggml/llama.cpp. В одном файле хранятся веса модели, её параметры и метаданные, что позволяет быстро загружать модель и запускать её в квантованном (сжатом) виде на обычных компьютерах, в том числе без видеокарты. Пришёл на смену более раннему формату GGML.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- Hugging FaceАмериканская компания с французскими основателями и крупнейшая платформа, где публикуют, ищут и скачивают модели машинного обучения, прежде всего с открытыми весами, а также датасеты и демо-приложения (Spaces). Её часто называют «GitHub для машинного обучения». Компания также разрабатывает популярную открытую библиотеку Transformers.
В новостях
Сообщество сжало модель MiniMax M3.1 Flash для Mac и игровых видеокарт
Американский стартап, который делает открытую библиотеку для быстрого дообучения языковых моделей и выкладывает их сжатые версии.
Unsloth сжала открытую модель MiniMax M3.1 Flash до 144 ГБ
Стартап, который делает открытые инструменты для дообучения и запуска языковых моделей. Ещё он выкладывает на Hugging Face сжатые версии популярных открытых моделей.