Ollama

Программа с открытым исходным кодом, чтобы скачивать и запускать открытые языковые модели на своём компьютере: через командную строку, приложение или локальный API. Скачивание и запуск модели в ней сводятся к одной команде, а данные можно не отправлять на чужие серверы. Также есть облачные модели, которые работают на серверах самого сервиса.