Baseten
Американская инфраструктурная платформа для запуска моделей ИИ в продакшене: развёртывание и масштабирование инференса, выделенные развёртывания и дообучение моделей. Рассчитана на компании, которые встраивают собственные или открытые модели в свои продукты.
проверено по: baseten.co ↗
См. также
- Fireworks AIАмериканская компания Fireworks AI и её облачная платформа для инференса и дообучения открытых моделей (DeepSeek, Llama, Qwen и других). Разработчики получают доступ к моделям через API без собственной инфраструктуры GPU, а компании могут дообучать модели на своих данных, в том числе с подкреплением, и размещать их у того же провайдера.
- Together AIАмериканская компания, основанная в 2022 году. Она предоставляет облачную платформу для запуска, дообучения и обучения генеративных моделей, прежде всего открытых. Разработчики получают через неё доступ к моделям по API и к кластерам GPU; компания также занимается оптимизацией вычислений на GPU.
- ModalБессерверная облачная платформа для запуска кода, прежде всего задач ИИ и машинного обучения, в контейнерах на CPU и GPU. Инфраструктуру описывают прямо в коде (Python, TypeScript, Go), а платформа сама масштабирует ресурсы и берёт плату только за время работы. На ней запускают инференс моделей, пакетную обработку данных, задачи по расписанию и изолированные «песочницы» для кода.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- Провайдер инференсаКомпания, которая запускает модели ИИ на своих серверах и даёт доступ к ним по API: клиент отправляет запрос и получает ответ, не разворачивая модель сам (inference provider). На Hugging Face так называют партнёров, через которых модели с Hub можно вызывать с единым токеном и клиентскими библиотеками, выбирая исполнителя запроса.
В новостях
Inception научила модель Mercury Decide принимать решения по картинкам
Американская облачная платформа, на которой компании запускают модели и дают к ним доступ через API.
Inception открыла общий доступ к модели Mercury Decide по цене ниже, чем у соперницы Jev
Американская облачная платформа, на которой компании запускают модели и обслуживают запросы к ним.
Облако для нейросетей Modal Labs может получить от инвесторов 750 млн долларов, пишет TechCrunch
Американская компания, которая запускает модели клиентов в своём облаке и берёт на себя их работу под нагрузкой.
Moonshot AI вывела модель Kimi K3 в облачный сервис Amazon Bedrock
Американская компания из Сан-Франциско. Она предоставляет облачные мощности, чтобы запускать ИИ-модели и отдавать их ответы через API.