GGUF
GGUF (GPT-Generated Unified Format) — бинарный формат файлов нейросетевых моделей, разработанный для экосистемы ggml/llama.cpp. В одном файле хранятся веса модели, её параметры и метаданные, что позволяет быстро загружать модель и запускать её в квантованном (сжатом) виде на обычных компьютерах, в том числе без видеокарты. Пришёл на смену более раннему формату GGML.
проверено по: github.com ↗
См. также
- llama.cppllama.cpp — открытый движок на C/C++ для запуска больших языковых моделей на обычных компьютерах, включая машины без мощной видеокарты и компьютеры Apple. Использует квантованные модели формата GGUF и служит основой для многих локальных ИИ-приложений.
- OllamaПрограмма с открытым исходным кодом, чтобы скачивать и запускать открытые языковые модели на своём компьютере: через командную строку, приложение или локальный API. Скачивание и запуск модели в ней сводятся к одной команде, а данные можно не отправлять на чужие серверы. Также есть облачные модели, которые работают на серверах самого сервиса.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- Открытые весаСпособ выпуска ИИ-модели, при котором её обученные параметры (веса) выкладывают в свободный доступ (open weights). Запускать, сжимать и дообучать такую модель могут не только её авторы. Небольшие модели работают на обычном компьютере, а большим нужны серверы с дорогими видеокартами: их разворачивают компании и облачные сервисы, и большинство пользуется моделью через них. В отличие от полностью открытой модели (open source), данные и код обучения при этом могут оставаться закрытыми, поэтому воспроизвести модель с нуля нельзя.
- UnslothСтартап и одноимённая открытая библиотека для быстрого и экономного по памяти дообучения больших языковых моделей, включая LoRA, QLoRA, полное дообучение и обучение с подкреплением. Команда также выпускает на Hugging Face сжатые (квантованные) версии популярных открытых моделей, в том числе в формате GGUF для локального запуска.
В новостях
Hugging Face научила Transformers быстро запускать модели для llama.cpp
Формат файлов для моделей, созданный командой llama.cpp: веса, токенизатор и шаблон чата хранятся в одном файле, а веса обычно сжаты до нескольких бит, чтобы модель поместилась в память обычного компьютера.