LIDstral-Arabic

LIDstral Arabic — не чат-модель, а классификатор. Она получает текст, написанный арабским письмом, и определяет, на каком он языке или диалекте. Классов 51: современный литературный арабский (Modern Standard Arabic — язык прессы и официальных документов), диалекты отдельных стран — Египта, Марокко, Алжира, Ирака, Ливии, Мавритании и других — и неарабские языки, которые пишутся той же графикой. Кроме ответа модель выдаёт вероятности по всем классам, и они откалиброваны: уверенность в 90% должна означать, что модель права примерно в девяти случаях из десяти.

Работа идёт в три шага. Сначала fastText — лёгкая библиотека для классификации текста — даёт каждому классу отдельную оценку. Затем небольшая нейросеть на 64 нейрона превращает эти оценки в вероятности. Последний шаг поправляет вероятности каждого класса по отдельности. Перед этим текст очищается: убираются огласовки, декоративное растягивание букв, повторы знаков препинания, остатки веб-разметки и ошибки автоматической расшифровки речи. Всё это идёт на обычном процессоре, видеокарта не нужна.

Модель сделана вместе с министерством цифрового перехода и административной реформы Марокко: в январе 2026 года страна подписала с Mistral партнёрство. Модель вышла одновременно с Voxtral Mini 4B Realtime Arabic, которая распознаёт арабскую речь. Главный упор — на марокканский диалект дарижа. По замерам разработчиков, на нём LIDstral Arabic набирает 88,67% по метрике F1 (сводная оценка точности и полноты). У LahjatBERT ALDi CL, лучшей из сравнённых моделей на этом диалекте, — 72,65%, у GlotLID v3 — 71,28%. Проверку вели на 84 870 арабских примерах из наборов NADI, MADAR, QADI, Casablanca, FLEURS и других.

Главную оговорку называет сама карточка модели: она всегда выбирает один из своих 51 классов. Поэтому текст на языке не из этого списка или фразу, в которой смешаны несколько языков, модель может определить неверно. Она понимает только арабское письмо и сама текст не пишет: она лишь размечает, где какой язык, а дальше с текстом работают другие системы. Министерство Марокко выпускает такие инструменты как готовые блоки для госслужб, стартапов и разработчиков. Веса открыты под лицензией Apache 2.0: модель можно бесплатно использовать в коммерческих продуктах, менять и дообучать.

источники:Карточка модели на Hugging Face (Mistral) ↗Копия модели у министерства Марокко ↗