llama.cpp
llama.cpp — открытый движок на C/C++ для запуска больших языковых моделей на обычных компьютерах, включая машины без мощной видеокарты и компьютеры Apple. Использует квантованные модели формата GGUF и служит основой для многих локальных ИИ-приложений.
проверено по: github.com ↗
См. также
- GGUFGGUF (GPT-Generated Unified Format) — бинарный формат файлов нейросетевых моделей, разработанный для экосистемы ggml/llama.cpp. В одном файле хранятся веса модели, её параметры и метаданные, что позволяет быстро загружать модель и запускать её в квантованном (сжатом) виде на обычных компьютерах, в том числе без видеокарты. Пришёл на смену более раннему формату GGML.
- OllamaПрограмма с открытым исходным кодом, чтобы скачивать и запускать открытые языковые модели на своём компьютере: через командную строку, приложение или локальный API. Скачивание и запуск модели в ней сводятся к одной команде, а данные можно не отправлять на чужие серверы. Также есть облачные модели, которые работают на серверах самого сервиса.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- vLLMБиблиотека и сервер с открытым кодом для быстрого инференса больших языковых моделей. Благодаря механизму PagedAttention и пакетной обработке эффективно использует память видеокарт и обслуживает множество параллельных запросов; часто служит точкой отсчёта при сравнении скорости движков.
- SGLangОткрытый движок инференса для больших языковых и мультимодальных моделей, развиваемый сообществом LMSYS и ориентированный на высокую пропускную способность и низкие задержки — от одной видеокарты до кластеров. Направление SGLang Diffusion добавляет к нему ускоренную генерацию изображений и видео диффузионными моделями.
В новостях
Hugging Face выпустила для Mac и iPhone библиотеки распознавания речи и выбора ответа из вариантов
Открытая программа для запуска языковых моделей на обычных компьютерах, в том числе на Mac, без облачных серверов.
Unsloth сжала открытую модель MiniMax M3.1 Flash до 144 ГБ
Открытая программа для запуска языковых моделей на обычных компьютерах и серверах, в том числе с частичной нагрузкой на процессор. Работает со сжатыми моделями в формате GGUF.
Hugging Face выпустила библиотеку AnyLanguageModel 1.0 для приложений Apple
Программа с открытым кодом для запуска языковых моделей на обычных компьютерах и телефонах без мощных серверных ускорителей. Обычно работает с моделями, сжатыми в формат GGUF.
NVIDIA выложила сжатую модель Nemotron 3.5 Bolt для ИИ-агентов на ноутбуке
Открытая программа для запуска языковых моделей на обычных компьютерах — ПК, ноутбуках и Mac, в том числе без серверных видеокарт.
llama.cpp научился запускать модели, которые выбирают ответ из вариантов
Открытая программа для запуска языковых моделей на обычных компьютерах, в том числе без мощной видеокарты: модели для неё сжимают в формат GGUF. Её разработчики из ggml-org входят в Hugging Face.
Hugging Face научила Transformers быстро запускать модели для llama.cpp
Открытый движок на C/C++ для запуска языковых моделей на обычных компьютерах и ноутбуках; на нём построены Ollama, LM Studio и Jan.