llama.cpp научился запускать модели, которые выбирают ответ из вариантов
В открытый движок llama.cpp встроили поддержку моделей, которые, как Jev стартапа TypeSafe, не пишут текст, а выбирают ответ. Такие модели, например Kev-4B, работают на самом устройстве.
