LM Studio
LM Studio — программа компании Element Labs для macOS, Windows и Linux, через которую скачивают открытые языковые модели (например, с Hugging Face в форматах GGUF и MLX) и запускают их на своём компьютере, без облака. Это графическая оболочка над движками llama.cpp и MLX: в ней есть чат, а ещё локальный сервер с API, совместимым с OpenAI, — к нему можно подключать другие программы.
проверено по: lmstudio.ai ↗
См. также
- llama.cppllama.cpp — открытый движок на C/C++ для запуска больших языковых моделей на обычных компьютерах, включая машины без мощной видеокарты и компьютеры Apple. Использует квантованные модели формата GGUF и служит основой для многих локальных ИИ-приложений.
- OllamaПрограмма с открытым исходным кодом, чтобы скачивать и запускать открытые языковые модели на своём компьютере: через командную строку, приложение или локальный API. Скачивание и запуск модели в ней сводятся к одной команде, а данные можно не отправлять на чужие серверы. Также есть облачные модели, которые работают на серверах самого сервиса.
- GGUFGGUF (GPT-Generated Unified Format) — бинарный формат файлов нейросетевых моделей, разработанный для экосистемы ggml/llama.cpp. В одном файле хранятся веса модели, её параметры и метаданные, что позволяет быстро загружать модель и запускать её в квантованном (сжатом) виде на обычных компьютерах, в том числе без видеокарты. Пришёл на смену более раннему формату GGML.
- Hugging FaceАмериканская компания с французскими основателями и крупнейшая платформа, где публикуют, ищут и скачивают модели машинного обучения, прежде всего с открытыми весами, а также датасеты и демо-приложения (Spaces). Её часто называют «GitHub для машинного обучения». Компания также разрабатывает популярную открытую библиотеку Transformers.
- Открытые весаСпособ выпуска ИИ-модели, при котором её обученные параметры (веса) выкладывают в свободный доступ (open weights). Запускать, сжимать и дообучать такую модель могут не только её авторы. Небольшие модели работают на обычном компьютере, а большим нужны серверы с дорогими видеокартами: их разворачивают компании и облачные сервисы, и большинство пользуется моделью через них. В отличие от полностью открытой модели (open source), данные и код обучения при этом могут оставаться закрытыми, поэтому воспроизвести модель с нуля нельзя.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
В новостях
Apple представила моноблок iMac на чипе M6 с ускорителями для ИИ
Программа для компьютера, через которую скачивают открытые языковые модели и запускают их на самом компьютере, без облака.