Сбер выложил открытый классификатор FRIDA-Decisions для русских текстов

Сбер выложил на Hugging Face открытую модель FRIDA-Decisions. Она разбирает русские тексты, но ответ не пишет, а выбирает из вариантов, перечисленных прямо в запросе.

Почему это важно: модель не нужно переобучать, чтобы сортировать обращения или модерировать комментарии по новому набору категорий: достаточно перечислить новые варианты в запросе. Лицензия MIT разрешает встраивать модель и в коммерческие продукты.

Детали: модель отвечает на вопросы четырёх видов и к каждому ответу прикладывает свою уверенность:

• Выбирает один из нескольких вариантов и показывает, как уверенность распределилась между всеми.
• Ставит текст на одну из ступеней заданной шкалы.
• Отвечает, верно ли утверждение, и называет вероятность того, что оно верно.
• Упорядочивает кандидатов по тому, насколько они подходят к запросу.

Как это работает: в основе — FRIDA на 823 млн параметров, более ранняя модель Сбера, которая переводит тексты в числовые векторы для поиска по смыслу.

• FRIDA — энкодер: он только читает текст и ничего не генерирует, поэтому ответ всегда совпадает с одним из заявленных вариантов.
• Текст модель читает один раз, а все варианты всех вопросов разбирает за тот же проход.
• Авторы дообучили её на 1,42 млн примеров: 71% на русском и 29% на английском.
• Среди задач — модерация, проверка фактов, тональность, намерения клиентов, выбор инструмента для агента и распределение запросов между языковыми моделями.

В цифрах: по замерам разработчиков:

• Ответ на один-три вопроса к тексту средней длины занимает 28–34 мс на потребительской видеокарте RTX 5060 Ti.
• На сервере vLLM, который раздаёт модель многим пользователям сразу, одна такая карта обрабатывает около 60 запросов в секунду, если одновременно идут восемь.
• Выбор намерения из каталога в 243 пункта занимает 0,44 с, а если проверять каждый вариант отдельно — 4,65 с.
• Версия после квантизации¹ до 8 бит работает на обычном процессоре и отвечает примерно за 0,9 с.

Расклад: в бенчмарке² «Развилка» 735 заданий на русском из 15 задач, правильные ответы к ним взяты из опубликованных наборов данных. Результаты моделей:

• FRIDA-Decisions верно ответила на 89,3% заданий, её версия для процессора — на 89,1%.
• Платная Jev стартапа TypeSafe набрала 89,7%, и, по расчёту авторов, разница статистически незначима.
• Лучшая из других открытых моделей в таблице авторов, migom-2b на 1,9 млрд параметров, набрала 85,3%.

Но: все модели на «Развилке» запускали сами авторы FRIDA-Decisions, так что это их собственные замеры, а не независимая проверка. Авторы советуют давать модели тексты не длиннее 512 токенов.

Если шире: FRIDA-Decisions — не первая модель, которая выбирает ответ, а не пишет текст. В сентябре TypeSafe выпустила платную Jev, а 1 октября Cloudflare выложила открытые Clef, совместимые с Jev. В сравнении авторов Clef нет.