Apple сжала в 2,8 раза кодировщик речи для диктовки на устройствах
Исследователи Apple уменьшили модуль, который переводит голос в понятный языковой модели вид, а качество распознавания почти не пострадало.
Исследователи Apple сжали в 2,8 раза кодировщик, через который речь из системной диктовки попадает в языковую модель на устройстве, и почти не потеряли в точности распознавания.
Почему это важно: диктовка на устройствах Apple работает целиком без облака, и кодировщик делит оперативную память с языковой моделью. По словам авторов, от его размера напрямую зависят расход энергии и задержка.
Детали: кодировщик нарезает звук на короткие отрезки и переводит их в вид, понятный языковой модели. Сама модель построена по методу Apple Instruction-Following Pruning1: в оперативной памяти одновременно лежит лишь небольшая часть её блоков-«экспертов». Кодировщик же работает постоянно и занимает ту же память.
Как это работает: маленький кодировщик-«ученик» учится повторять большого «учителя» — это называется дистилляцией:
- Ученик копирует не готовые токены и не вероятности на выходе, а внутреннее представление звука за шаг до квантователя2, который делает из него токены.
- Обучается только ученик: на каждом кадре звука он подгоняет своё представление под учительское, уменьшая квадратичную ошибку.
- Разницу в размерности представлений ученика и учителя выравнивает один простой линейный слой.
- Эта точка стоит раньше квантователя и перехода к языковой модели, поэтому один рецепт подходит обоим форматам токенов Apple и кодировщикам, обученным как отдельно, так и вместе с моделью.
В цифрах:
- При сжатии в 2,8 раза ученик ошибается в словах не более чем на 1,9% чаще учителя в пяти из шести пар «учитель — ученик», причём без всякого дообучения.
- Кодировщик того же размера, обученный самостоятельно, без учителя, делает на 3,9% больше ошибок, чем ученик.
Но: оговорка «пять из шести» означает, что в одной паре ученик отстал от учителя сильнее. Попадёт ли сжатый кодировщик в диктовку и когда, авторы не сообщают.
В июле 2025 года Apple представила на конференции ICML законы масштабирования дистилляции — способ заранее оценить, каким выйдет ученик при заданном бюджете вычислений и его делении между учеником и учителем.