Fireworks обрабатывает более 40 трлн фрагментов текста в день на моделях клиентов
Interconnects видит быстрый рост сервисов обработки запросов к моделям, которые компании могут разворачивать у себя, но данных для оценки доли открытых моделей на рынке недостаточно.
Сервис Fireworks обрабатывает более 40 трлн токенов в день на моделях, настроенных для клиентов, пишет Interconnects со ссылкой на заявление компании.
Детали: Токены — фрагменты текста, с которыми работает модель. Fireworks назвала суточный объём на своей первой конференции на этой неделе. Это лишь часть её работы: по словам компании, объём обработки токенов на моделях, настроенных для заказчиков, вырос с лета более чем вдвое.
Не факт: Автор Interconnects предполагает, что общий суточный объём Fireworks этой осенью окажется значительно выше 100 трлн токенов. Это ожидание автора от следующего обновления данных.
Расклад: Для оценки рынка Interconnects собирает публичные показатели Baseten, Fireworks и Together AI — сервисов, которые обрабатывают запросы к открытым моделям. У открытых моделей опубликованы веса, поэтому другие компании могут разворачивать их у себя. Ещё один ориентир — доля токенов открытых моделей в общем объёме сервиса OpenRouter. Собранные цифры, по оценке автора, показывают почти экспоненциальный рост объёма токенов, обработанных сервисами открытых моделей.
С чем сравнивают: Google раскрывает в финансовой отчётности общий объём токенов на своей платформе и отдельно — объём токенов, обработанных через API. Через API другие программы обращаются к моделям. Interconnects использует оба показателя для сопоставления с сервисами открытых моделей.
Но: Крупные облачные компании тоже, вероятно, занимают заметную часть рынка, отмечает Interconnects. Однако автор не нашёл у Amazon Bedrock и Azure разбивки использования по открытым и закрытым моделям. Поэтому рост отдельных сервисов виден лучше, чем доля открытых моделей на всём рынке.