Sarvam-105B

Что это за модель

Sarvam-105B — самая крупная языковая модель индийской компании Sarvam AI. Её впервые показали на саммите по ИИ в Нью-Дели, а веса выложили в открытый доступ в марте. Модель обучили с нуля в Индии на 12 трлн токенов: код, веб-тексты, математика и многоязычные данные. Вычислительные мощности дала государственная программа IndiaAI Mission. Модель устроена как смесь экспертов (mixture of experts): из 105 млрд параметров на каждый токен работает около 10 млрд, то есть 8 «экспертов» из 128 и ещё один общий. Для длинных текстов она использует сжатое внимание MLA, которое экономит память.

Одновременно с ней вышла младшая Sarvam-30B. У той около 2,4 млрд активных параметров, и она рассчитана на быстрые диалоги в реальном времени. 105B, наоборот, сделана для сложных рассуждений и многошаговых агентных задач, где модель сама вызывает инструменты и принимает решения. Sarvam сравнивает её с моделями того же класса, среди них GLM-4.5-Air, GPT-OSS-120B и Qwen3-Next-80B. Компания заявляет, что её модель не уступает большинству открытых и закрытых моделей такого размера. По замерам лаборатории, она набирает 88,3 балла в математическом тесте AIME 25 (96,7 с инструментами), 78,7 в научном GPQA Diamond, 71,7 в LiveCodeBench v6 по программированию и 49,5 в BrowseComp, где надо искать информацию в интернете.

Главное, ради чего её выбирают, — языки Индии. Токенизатор (он режет текст на кусочки, с которыми работает модель) настроен под все 22 официальных языка страны, включая редкие вроде ория, сантали и манипури. Поэтому тексты на этих языках разбиваются на меньшее число токенов и обходятся дешевле. Sarvam проверяет модель на собственном тесте: ответы на 22 языках, в родной письменности и латиницей, попарно сравнивает модель-судья. По данным компании, 105B выигрывает в среднем 90% таких сравнений. На этой модели работает Indus — чат-ассистент Sarvam, а разработчикам она доступна через API компании.

Веса выпущены под лицензией Apache 2.0: модель можно бесплатно встраивать в коммерческие продукты, дообучать и разворачивать без участия Sarvam. Но это серверная модель: в примерах из карточки её запускают на четырёх–восьми видеокартах сразу. Лаборатория признаёт, что тест на реальные задачи программирования SWE-bench Verified остаётся трудным для всех моделей, и её тоже. С картинками она не работает, для них у Sarvam есть отдельная линейка Sarvam Vision.

Источники: Анонс Sarvam 30B и 105B в блоге Sarvam AI, Карточка модели на Hugging Face