Mistral выпустила модель, которая узнаёт арабский диалект по тексту

Mistral выложила открытую модель LIDstral Arabic. По тексту, написанному арабскими буквами, она определяет, что это: литературный арабский, один из диалектов или вообще другой язык с той же письменностью.

Почему это важно: у разработчиков, которые работают с арабскими текстами, появился открытый и быстрый классификатор: он отличает диалекты друг от друга и от других языков с арабским письмом. На марокканском диалекте он, по замерам Mistral, заметно точнее всех проверенных соперников.

Детали: модель различает 51 класс. Это современный стандартный арабский, то есть язык прессы и официальных документов, все арабские диалекты (так утверждает Mistral) и неарабские языки. Неарабские языки Mistral добавила в обучение специально: так модель не примет за арабский любой текст арабскими буквами. Диалекты разбиты по странам: в примерах на странице модели есть Марокко, Алжир, Египет и Ирак. Модель выложена под лицензией Apache 2.0¹.

Как это работает: модель состоит из трёх частей, и вся цепочка идёт на обычном процессоре, без видеокарты:

• Классификатор на fastText² отдельно оценивает каждый язык и диалект, поэтому близкие варианты не вытесняют друг друга.
• Небольшая нейросеть из 64 нейронов пересчитывает эти оценки в вероятность для каждого из 51 класса.
• Калибровка подправляет вероятности, чтобы уверенность модели точнее отвечала тому, как часто она права; иногда от этого меняется и сам ответ.

В цифрах: Mistral проверяла модель на 84 870 арабских примерах из нескольких бенчмарков, в том числе NADI, MADAR и FLEURS. Результаты по замерам компании такие:

• На марокканском диалекте дарижа модель набрала 88,67% по F1-мере³.
• Лучший соперник для этого диалекта среди проверенных, LahjatBERT ALDi CL, набрал 72,65%, а открытая модель GlotLID v3⁴ — 71,28%.

Но: модель всегда выбирает один из своих 51 класса. Если язык ей незнаком или в тексте смешано несколько языков, ответ может оказаться неверным.

LIDstral Arabic вышла 8 октября, в один день с Voxtral Mini 4B Realtime Arabic. Это модель Mistral, которая записывает арабскую речь текстом прямо во время разговора и справляется с диалектами. Голосовую модель Mistral сделала вместе с правительством Марокко.