Hugging Face выпустила для Mac и iPhone библиотеки распознавания речи и выбора ответа из вариантов

Новые библиотеки Hugging Face на Swift расшифровывают речь моделями NVIDIA и Alibaba прямо на Mac и iPhone, а на вопросы вроде «срочное ли сообщение» выбирают ответ из готовых вариантов и показывают вероятность каждого.

Hugging Face выпустила две библиотеки на Swift для приложений Apple: AnySpeechRecognizer расшифровывает речь открытыми моделями на самом устройстве, а AnyDecisionModel отвечает на вопросы, выбирая из заданных вариантов.

Почему это важно: Apple ввела новый API распознавания речи в macOS 26 и iOS 26, но за ним стоит только её собственный движок. AnySpeechRecognizer повторяет этот API, так что разработчикам не нужно переписывать свой код, позволяет подставить модели NVIDIA и Alibaba и добавляет разделение записи по говорящим, которого у Apple нет.

Детали: код, написанный под API Apple, переходит на библиотеку, если подключить её вместо фреймворка Apple, а другой движок задают там, где создаётся модуль расшифровки. На выбор:

Parakeet v3 от NVIDIA на 0,6 млрд параметров понимает 25 европейских языков и сама определяет, на каком из них говорят.
Parakeet Ultra — версия v3, которую дообучила компания Moondream; в большинстве замеров Hugging Face она точнее.
Qwen3-ASR от Alibaba на 0,6 и 1,7 млрд параметров знает 30 языков и 22 китайских диалекта, в том числе китайский, японский и корейский, которых Parakeet не знает.

Разделение записи по говорящим AnySpeechRecognizer поручает отдельному модулю на модели Streaming Sortformer от NVIDIA. Он работает вместе с движком Apple или Parakeet и различает до четырёх говорящих, даже когда они говорят одновременно. Слова по говорящим раскладывает уже сама библиотека: по отметкам времени она приписывает каждое слово расшифровки одному из них.

В цифрах: замеры Hugging Face на одном Mac Studio с чипом M4 Max; на iPhone библиотеку пока не проверяли.

Parakeet расшифровывает час записи из файла за 20–40 секунд, а в режиме для живой речи, где звук приходит потоком, — за 1,5–2,5 минуты, и занимает около 100 МБ памяти.
Qwen3-ASR намного медленнее, требует нескольких гигабайт памяти и выдаёт текст только целиком на каждый отрезок записи до 40 секунд, поэтому лучше подходит для готовых файлов.
Модели скачиваются, только когда приложение их запросит: около 600 МБ на каждую Parakeet и от 0,9 до 2,4 ГБ на Qwen3-ASR.
На записях совещаний из набора AMI, где люди перебивают друг друга, доля ошибок в словах у всех движков превышала 23%.

Как это работает: AnyDecisionModel нужна для вопросов, где ответ выбирают, а не пишут: срочное ли сообщение, в какой отдел отправить заявку, насколько зол клиент. Обычно такой вопрос задают языковой модели и разбирают её текст, но так виден только один ответ. Библиотека считывает, какую вероятность модель даёт каждому варианту, и возвращает их все вместе с оценкой уверенности.

Ответы могут давать разные модели:

Небольшие языковые модели работают на самом Mac или iPhone через MLX¹, Core AI² или llama.cpp³ и скачиваются с Hugging Face Hub.
Clef-Flash от Cloudflare на 9 млрд параметров со встроенным блоком, обученным выбирать ответы, в сжатой 4-битной версии весит 6,2 ГБ, а её описание советует Mac с памятью от 16 ГБ.
Jev стартапа TypeSafe работает в облаке: библиотека обращается к ней по API, а вместо неё можно подключить другой сервер с тем же API.
Модели для выбора ответа через Ollama⁴ работают на своём компьютере или в облаке самой Ollama.

Но: сырые вероятности языковых моделей часто завышены, поэтому библиотека умеет их калибровать. Оценка уверенности показывает, насколько вероятности сосредоточены на одном варианте, а не то, верен ли ответ.

Общая картина: авторы признают, что модели для выбора ответа не новы: по сути это классификация, при которой модель относит текст к одному из вариантов, не видя примеров для этой задачи. «Новое — это название, много шума и целый урожай моделей, обученных принимать решения. Мы думаем, что всё идёт к этому», — пишут они.

AnyDecisionModel можно опробовать в демо-приложении Emoji Magnet для Mac: из кучи в 343 эмодзи всплывают те, что подходят к фразе, например «вещи, которые носят». Правил по ключевым словам в нём нет: модель отвечает «да» или «нет» про каждый эмодзи. Через облачную Jev все 343 ответа приходят за полсекунды, а Qwen3 4B на Mac с M4 Max перебирает их около 10 секунд.

Что дальше: Hugging Face хочет добавить в AnySpeechRecognizer другие движки, в том числе Core AI на macOS 27 и iOS 27.

Обе библиотеки устроены по образцу AnyLanguageModel. Её версию 1.0 Hugging Face выпустила 20 октября: через неё приложения одним кодом обращаются к моделям на устройстве и в облаке.