Вышла llama.cpp 1.0 — библиотека для запуска моделей на своих устройствах

Вышла версия 1.0.0 открытой библиотеки llama.cpp, на которой ИИ-модели запускают на ноутбуках, телефонах и серверах. Разработчики приложений получили обещание: изменения, после которых их программы могут перестать работать, теперь будут выходить только со сменой первой цифры в номере версии.

Почему это важно: за три с половиной года на llama.cpp стали опираться многие приложения, которые работают с моделями без облака. Чем их больше, тем дороже обходится каждое внезапное изменение. Стабильный интерфейс команда прямо называет своей ответственностью перед этими разработчиками.

Предыстория: проект в 2023 году начал программист Георги Герганов (Georgi Gerganov). В феврале 2026 года его компания присоединилась к Hugging Face. Версию 1.0 выпустила уже команда llama.cpp внутри Hugging Face, а объявили о ней Герганов и глава компании Клеман Деланг.

Детали: номер версии из трёх чисел теперь сам говорит, чего ждать от обновления:

• Первое число растёт, если меняется открытый интерфейс библиотеки на языке C и старый код может сломаться.
• Второе меняется с новинками, которые ничего не ломают: поддержкой новых моделей, доработками под оборудование, новыми функциями интерфейса.
• Третье меняется, когда исправляют ошибки, а интерфейс остаётся прежним.

Правила касаются и самой llama.cpp, и движка машинного обучения, на котором она построена; обе библиотеки получили номер 1.0.0. Новой первой цифрой команда обещает отмечать и несовместимость уже собранных программ (ABI) — случаи, когда программу приходится пересобирать под новую версию библиотеки.

Расклад: llama.cpp поддерживает больше 150 вариантов архитектур моделей и все распространённые методы спекулятивного декодирования¹. Её движок рассчитан почти на любое оборудование: под каждый тип чипов пишут отдельный модуль, который можно подключить уже при запуске программы. Готовые сборки распространяются через Homebrew, MacPorts, Winget, пакеты Debian и Docker, и команда хочет добавить новые способы.

Каждое изменение в основной ветке кода проходит автоматические проверки. Мощности для них даёт Hugging Face через свои сервисы HF Buckets и HF Jobs, а оборудование для тестовых машин — NVIDIA, AMD, Qualcomm, Arm, IBM и Intel. Языковыми моделями команда пользуется и сама, когда работает над кодом llama.cpp, но, по её словам, «вдумчиво и разумно»: на первом месте остаются качество кода, контроль над архитектурой и понимание деталей реализации.

Деланг в соцсети X назвал llama.cpp самой используемой библиотекой для запуска моделей на своих устройствах. По его словам, с ней можно «бесплатно владеть своим интеллектом, никому не отправлять свои данные и на 100% всё контролировать», а ИИ становится распределённым, а не сосредоточенным в нескольких организациях Кремниевой долины.

«Мы победим не лоббированием, интригами или манипуляциями. Мы победим тем, что строим — открыто, вместе со всем сообществом»

Клеман Деланг, глава Hugging Face

Та же команда вместе с Hugging Face выпускает настольное приложение Llama для macOS и Windows. Оно запускает открытые модели на компьютере: с ними можно переписываться, а ещё их могут использовать другие программы, в том числе агенты для программирования.