Canonical показала, как запустить на ноутбуке открытый аналог модели-классификатора Jev
Canonical показала, как запустить на процессоре ноутбука открытую модель, которая не пишет текст, а выдаёт вероятность заданных вариантов ответа — например, уровней риска банковского перевода. После сжатия ей нужно около 5 ГБ памяти.
Открытую модель по образцу Jev можно запустить на ноутбуке с 32 ГБ памяти и без видеокарты — Роб Гиббон из Canonical, разработчика Ubuntu, показал это на проверке банковских переводов. Jev — облачный сервис стартапа TypeSafe: вместо текста он выдаёт вероятность каждого из заданных вариантов ответа.
Детали: модель получает запись о переводе и выбирает один из трёх уровней риска — низкий, средний или высокий, то есть мошенничество. Перевод 100 тыс. долларов, который обнулил счёт отправителя и ушёл на пустой счёт, она отнесла к мошенничеству.
Как это работает: system-one-qwen3.5-4b-scorer — дообученная версия Qwen3.5-4B, открытой модели Alibaba. Гиббон взял её готовой с площадки Hugging Face: такие аналоги Jev выпускает сообщество разработчиков открытых моделей. Как и Jev, она выдаёт вероятности заданных вариантов за один проход. Квантизация1 до 4 бит, по оценке автора, сокращает нужную ей память примерно с 18 до 5 ГБ.
Но: это учебный стенд, собранный на инструментах самой Canonical. Сжатие модели занимает на ноутбуке около шести часов, а на процессоре она отвечает медленно. Для потока реальных платежей с ответом за миллисекунды, признаёт автор, понадобится оборудование серьёзнее.