Саймон Уиллисон подключил модель Jev к своей программе LLM
Новый плагин Уиллисона позволяет задавать модели Jev вопросы из командной строки и получать ответ числом, например уверенность модели, что клиент просит вернуть деньги.
Саймон Уиллисон выпустил плагин, который подключает модель Jev стартапа TypeSafe AI1 к LLM — его программе для работы с языковыми моделями из командной строки.
Предыстория: 21 сентября Уиллисон испытал Jev и рассказал, как она устроена. TypeSafe AI выпустила модель в середине сентября: вместо текста она выдаёт числа, а платить нужно только за входные токены.
Детали: Плагин поддерживает все три типа вопросов к Jev: «да или нет», выбор из заданных вариантов и оценку по шкале. В примере Уиллисона модель получает сообщение «Пожалуйста, верните мой последний платёж» и отвечает 0,99 — настолько она уверена, что автор прямо просит о возврате.
Но: Это первая альфа-версия. Для работы нужен ключ API от TypeSafe AI, а ключи выдают через лист ожидания. По словам Уиллисона, очередь движется довольно быстро.