Sarvam 105B
Большая языковая модель индийской компании Sarvam AI с открытыми весами под лицензией Apache 2.0. Модель обучена с нуля в Индии и построена по архитектуре смеси экспертов (Mixture-of-Experts): при каждом шаге работает около 10 млрд параметров. Она рассчитана на сложные рассуждения, агентные задачи, математику и программирование и поддерживает 22 официально признанных языка Индии. Это старшая модель линейки; младшая, Sarvam 30B, предназначена для диалогов в реальном времени.
проверено по: huggingface.co ↗
См. также
- Sarvam AIИндийский ИИ-стартап из Бангалора, который разрабатывает большие языковые и речевые модели для индийских языков: распознавание и синтез речи, перевод, чат-модели. Правительство Индии выбрало компанию в рамках программы IndiaAI Mission для создания суверенной большой языковой модели.
- Смесь экспертовАрхитектура нейросети, в которой часть слоёв разбита на много подсетей-«экспертов» (mixture of experts, MoE). Специальный маршрутизатор для каждого токена включает лишь несколько из них. Так у модели может быть очень много параметров, а вычислений на токен будет меньше, чем у «плотной» модели того же размера. Минус в том, что все эксперты всё равно приходится держать в памяти.
- Лицензия Apache 2.0Разрешительная лицензия свободного ПО от Apache Software Foundation: позволяет использовать, изменять и распространять продукт, в том числе в коммерческих и закрытых разработках, при сохранении уведомлений об авторстве и указании изменений. Включает явную передачу патентных прав; часто применяется и к весам открытых моделей.
- Открытые весаСпособ выпуска ИИ-модели, при котором её обученные параметры (веса) выкладывают в свободный доступ (open weights). Запускать, сжимать и дообучать такую модель могут не только её авторы. Небольшие модели работают на обычном компьютере, а большим нужны серверы с дорогими видеокартами: их разворачивают компании и облачные сервисы, и большинство пользуется моделью через них. В отличие от полностью открытой модели (open source), данные и код обучения при этом могут оставаться закрытыми, поэтому воспроизвести модель с нуля нельзя.
- AI4BharatИсследовательская лаборатория при Индийском технологическом институте Мадраса. Она создаёт открытые наборы данных, модели и инструменты для языков Индии: машинный перевод (IndicTrans2), распознавание и синтез речи, транслитерацию, корпуса для обучения языковых моделей и бенчмарки.
В новостях
Sarvam AI будет разрабатывать ИИ для армии, флота и ВВС Индии
Языковая модель индийской компании Sarvam AI с открытыми весами. Её обучали в том числе на языках Индии.