Индийская Sarvam AI выпустила открытую модель Prism для быстрых решений

Индийская Sarvam AI¹ выпустила Prism — модель с открытыми весами, которая не пишет текст, а получает вопрос с вариантами ответа и возвращает вероятность каждого. По замерам самой компании, на это уходит 44 миллисекунды.

Почему это важно: бизнес доверит модели решение, только если она честно оценивает свою уверенность: автоматически исполняются лишь ответы выше заданного порога. На этом Sarvam и строит предложение. Открытые веса позволяют дообучить модель на собственных данных, чего не даёт Jev, с которой начался этот класс моделей: она доступна только через API.

Предыстория: класс появился в сентябре, когда стартап TypeSafe выпустил Jev. Её назвали в честь Системы 1 из теории Даниэля Канемана — быстрого интуитивного мышления, на котором держится большинство повседневных решений. В сравнении Sarvam таких моделей уже 25, среди них Clef от Cloudflare и Microsoft-Decision-1.

Повод: веса Prism лежат на Hugging Face под лицензией Apache 2.0. Для запуска нужен один ускоритель с памятью от 120 ГБ — серверный, а не домашняя видеокарта. В API Sarvam модель стоит 4 рупии за миллион входных токенов — небольших фрагментов текста, которыми измеряют объём запроса; токены ответа бесплатны. Компания проверяла её на сортировке обращений в поддержку, выборе модели под запрос и поиске промпт-инъекций².

Как это работает: Prism — дообученная Sarvam 105B, открытая модель компании на 105 млрд параметров, устроенная как смесь экспертов³. Каждый вариант ответа она оценивает отдельно от остальных, а сравнивает их только в самом конце. При обучении модель отучали от полной уверенности и строже штрафовали за самоуверенные ошибки: этим Sarvam и объясняет её точную самооценку.

В цифрах: Prism набрала больше всех среди моделей, отвечающих быстрее 100 мс, но KnowLine-35B идёт вплотную. Здесь семь моделей из 25; балл — среднее по трём индексам, время — медиана, замеры Sarvam AI на ускорителе NVIDIA B200.

Время Jev 1.14 и Microsoft-Decision-1 заявлено их разработчиками: из кластера Sarvam через API они отвечали за 431 и 533 мс.

Детали: главный довод Sarvam — калибровка: ответ, данный с уверенностью 90%, неверен примерно в 10% случаев или реже. В английских ответах с уверенностью от 90% Prism предсказывает 3,3% ошибок и делает 2,2%. Близка к ней Clef: 2,8% и 2,3%. Jev 1.14 недооценивает свои ошибки в 2,7 раза, Microsoft-Decision-1 — в 1,8 раза. На индийских языках Prism предсказывает 5,4% и делает 4,4%. Другие модели ошибаются там в 2,7–4,8 раза чаще, чем предсказывают.

Интрига: ответ модели может измениться, если просто переставить варианты местами. В тесте на 2 000 вопросов Jev 1.14 меняла 12,3% ответов при перестановке и 5,6% при точном повторе запроса. Prism, читая варианты в присланном порядке, меняет 4%, но перед оценкой умеет выстраивать их в единый порядок. Тогда не меняется ни один ответ.

Расклад: модели разбирали 700 записанных запусков ИИ-агентов: справился ли агент, нужен ли человек и кто виноват в сбое. Prism дала 78,5% верных ответов, Clef и Jev 1.14 — по 76,4%, Claude Haiku 5.5 — 70,7%. Правильные ответы брали из разметки людей и автоматических проверок, а не из суждений другой модели. Один запуск Prism оценивает примерно за полсекунды, Haiku через API — за 2,5 секунды.

Но: все сравнения Sarvam проводила сама. Один из трёх индексов — её внутренний тест на индийских языках. Другой — её версия Decision Index⁴ от Artificial Analysis: закрытый тест на знания там заменён отобранными сложными вопросами с вариантом «не знаю», и как раз на них Prism сильнее всего. Предел длины тоже расходится: в анонсе — 131 072 токена на вопрос, в документации API — 32 768.

Что дальше: в ближайшие недели Sarvam обещает расширить и опубликовать свой тест по кибербезопасности на 5 517 вопросов. Модели там распознают фишинг и джейлбрейк — попытки обойти защитные ограничения ИИ-модели и получить запрещённый ответ. Prism набрала 89%, Clef — 84,5%.

Prism продолжает корпоративную линию Sarvam: в октябре компания перестроила поиск по документам для своих агентов. The Economic Times писала, что в новом раунде она хочет привлечь около 300 млн долларов.