Apple предложила искать в речи смену языка посреди фразы без расшифровки
Метод исследователей Apple замечает смену языка по сигналам внутри готовой речевой модели и помогает собрать для обучения записи, где люди смешивают языки.
Исследователи Apple предложили способ, как находить в больших архивах записей фразы, где человек переходит с одного языка на другой, — прямо по звуку, без перевода речи в текст. Препринт вышел на arXiv 13 октября.
Почему это важно: такое смешение языков — обычное дело в многоязычной речи, но в данных для обучения речевых моделей его мало. Чтобы добавить такие записи, их сначала надо найти. Привычный путь — расшифровать речь и искать смену языка в тексте — упирается в точность многоязычной расшифровки.
Как это работает: новую модель метод не обучает, а читает сигналы, которые уже есть внутри готовой:
- речевая модель превращает каждый короткий отрезок звука, или кадр, в набор чисел, и по одноязычным записям на каждом из языков авторы нашли в этом наборе позиции, значения на которых растут, когда звучит определённый язык;
- затем метод проходит по фразе кадр за кадром и сводит эти сигналы вместе: если видны оба языка, фраза считается смешанной;
- порог, после которого фраза засчитывается как смешанная, настраивают на небольшом наборе таких записей.
В цифрах: метод проверили на 14 парах языков из набора CS-FLEURS1:
- с энкодером Whisper-small2 — частью модели, которая превращает звук в числа, — средняя F1-мера3 составила 0,798;
- свёрточная нейросеть, обученная определять язык записи, набрала 0,776;
- линейный классификатор поверх модели HuBERT4, обученный той же задаче, — 0,751.
Но: совсем без смешанных записей метод не обходится: на них настраивают порог. На CS-FLEURS самой сильной моделью для сравнения оказался линейный классификатор, который берёт набор чисел той же Whisper-small целиком, — метод обошёл его лишь на 0,012 по F1-мере. А на втором наборе, SEAME, где около 192 часов живой речи со смесью китайского и английского, точнее метода оказался линейный классификатор поверх HuBERT.
Итог: авторы делают вывод, что готовые речевые модели уже несут в себе всё нужное, чтобы отличить смешанную фразу. Их метод, по их словам, поможет собирать многоязычные корпуса, которые лучше отражают живую речь.
Смешением языков в Apple занимаются не впервые. В августе исследователи компании описали, как улучшить распознавание китайской речи вперемешку с английской за счёт неразмеченных записей: модель сама их расшифровывает и снова учится на этих расшифровках.