NVIDIA откроет набор текстов для обучения ИИ на 22 языках Индии

NVIDIA вместе с Индийским технологическим институтом в Мадрасе (IIT Madras) и его лабораторией AI4Bharat¹ скоро выложит корпус Nemotron-pretraining-Indic-v1 — около 2,8 трлн токенов² текста на 22 языках Индии для обучения моделей.

Почему это важно: 22 языка из конституции Индии — родные для 97% жителей страны, по переписи 2011 года это почти 1,2 млрд человек. Технологии для этих языков отстают от английских, потому что, по словам главы AI4Bharat Митеша Кхапры, «у нас недостаточно данных для индийских языков».

Повод: NVIDIA и AI4Bharat объявили, что корпус выйдет вместе с открытым инструментом, которым его создали. Это плагин к открытой программе NVIDIA NeMo Data Designer: в нём есть запросы к моделям и проверки качества, по которым другие команды смогут переводить собственные тексты.

Как это работает: весь корпус — английские документы, которые перевели модели ИИ, и у каждой записи сохранена ссылка на исходный документ. Документы взяты из английского корпуса NVIDIA Nemotron-CC-v2: веб-страницы, вопросы с ответами, математика и код. Для 12 из 22 языков их переводят так:

• Модель Google Gemma-4-31B-it переводит документ целиком, чтобы учесть связи между абзацами, таблицами и формулами, а код, формулы и ссылки не трогает.
• Та же модель сверяет перевод с оригиналом по 100-балльной шкале: смысл, гладкость, терминология, стиль и оформление. В корпус попадают тексты от 75 баллов.
• Слабые переводы модель правит по своим же замечаниям и оценивает заново по тому же порогу.
• Для 12 языков часть принятых переводов переписывают латиницей: это тот же текст на хинди или тамильском, записанный латинскими буквами, а не перевод на английский.

Детали: остальные десять из 22 языков, среди них санскрит, сантали и манипури, переводит не Gemma, а модель Indic Translate от Bodhan AI — некоммерческого центра ИИ для образования, который вырос в IIT Madras. Длинные тексты на сантали переводят кусками внахлёст, а манипури сначала записывают бенгальским письмом и потом переводят в родное письмо мейтей-майек.

В цифрах: токены посчитаны токенизатором Gemma-4:

• 2 601 млрд токенов — тексты, записанные родной письменностью каждого языка, ещё 224,6 млрд токенов записаны латиницей.
• 438,4 млрд токенов из этого объёма появились в корпусе только после того, как модель доработала слабые переводы.
• Всего в корпусе 34 сочетания языка и письменности: 22 языка в родной письменности и 12 — латиницей.

Расклад: часть корпуса уже пошла в Nemotron 3.5 Super VL — мультимодальную модель NVIDIA, которая вышла 15 октября:

• На дополнительном этапе предобучения³ модель получила 100 млрд токенов, из них 10 млрд — индийские тексты: синтетика на 12 языках из корпуса и тексты, написанные людьми.
• После этого этапа результаты на пяти индийских тестах знаний, рассуждений и математики выросли на 4,98–9,82 процентного пункта.
• По сравнению с прошлым поколением, Nemotron 3 Super, новая модель лучше в пяти из шести индийских задач, но в тесте на выполнение инструкций IFEval потеряла 2,04 пункта.

Но: авторы оговаривают, что рост показал этап, где синтетику смешали с настоящими текстами, так что вклад самого корпуса отдельно не измерен. Для 12 языков переводчик и проверяющий — одна и та же модель, а переводы на остальные десять языков ещё предстоит шире проверить с носителями.

Что дальше: дату выхода корпуса NVIDIA не назвала. Компания собирается использовать его в следующих моделях Nemotron, а AI4Bharat при её поддержке собирает открытый набор индийских бенчмарков Indic-LLM-Eval-Suite.