Провайдер инференса
Компания, которая запускает модели ИИ на своих серверах и даёт доступ к ним по API: клиент отправляет запрос и получает ответ, не разворачивая модель сам (inference provider). На Hugging Face так называют партнёров, через которых модели с Hub можно вызывать с единым токеном и клиентскими библиотеками, выбирая исполнителя запроса.
проверено по: huggingface.co ↗
См. также
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- OpenRouterOpenRouter — сервис-посредник, дающий доступ к моделям разных разработчиков через единый API, совместимый с интерфейсом OpenAI, с общей оплатой и автоматическим выбором провайдера. Публикует статистику использования моделей, а также иногда размещает неанонсированные модели под кодовыми именами для предварительного тестирования.
- Together AIАмериканская компания, основанная в 2022 году. Она предоставляет облачную платформу для запуска, дообучения и обучения генеративных моделей, прежде всего открытых. Разработчики получают через неё доступ к моделям по API и к кластерам GPU; компания также занимается оптимизацией вычислений на GPU.
- Fireworks AIАмериканская компания Fireworks AI и её облачная платформа для инференса и дообучения открытых моделей (DeepSeek, Llama, Qwen и других). Разработчики получают доступ к моделям через API без собственной инфраструктуры GPU, а компании могут дообучать модели на своих данных, в том числе с подкреплением, и размещать их у того же провайдера.
- BasetenАмериканская инфраструктурная платформа для запуска моделей ИИ в продакшене: развёртывание и масштабирование инференса, выделенные развёртывания и дообучение моделей. Рассчитана на компании, которые встраивают собственные или открытые модели в свои продукты.
В новостях
Облачная компания Modal привлекла 750 млн долларов при оценке 15,75 млрд
Компания, которая запускает чужие или открытые модели на своих либо арендованных серверах и продаёт доступ к ним по API, обычно с оплатой за объём работы.