Modal
Бессерверная облачная платформа для запуска кода, прежде всего задач ИИ и машинного обучения, в контейнерах на CPU и GPU. Инфраструктуру описывают прямо в коде (Python, TypeScript, Go), а платформа сама масштабирует ресурсы и берёт плату только за время работы. На ней запускают инференс моделей, пакетную обработку данных, задачи по расписанию и изолированные «песочницы» для кода.
проверено по: modal.com ↗
См. также
- BasetenАмериканская инфраструктурная платформа для запуска моделей ИИ в продакшене: развёртывание и масштабирование инференса, выделенные развёртывания и дообучение моделей. Рассчитана на компании, которые встраивают собственные или открытые модели в свои продукты.
- Together AIАмериканская компания, основанная в 2022 году. Она предоставляет облачную платформу для запуска, дообучения и обучения генеративных моделей, прежде всего открытых. Разработчики получают через неё доступ к моделям по API и к кластерам GPU; компания также занимается оптимизацией вычислений на GPU.
- Fireworks AIАмериканская компания Fireworks AI и её облачная платформа для инференса и дообучения открытых моделей (DeepSeek, Llama, Qwen и других). Разработчики получают доступ к моделям через API без собственной инфраструктуры GPU, а компании могут дообучать модели на своих данных, в том числе с подкреплением, и размещать их у того же провайдера.
- ПесочницаИзолированная среда, в которой запускают программу, код или ИИ-агента так, чтобы их действия не затрагивали основную систему и внешние ресурсы (англ. sandbox). Доступ к сети, файлам и устройствам в ней обычно запрещён или жёстко ограничен. Песочницы используют для запуска непроверенного кода и для безопасной работы агентов с инструментами.
- Cloudflare WorkersБессерверная платформа компании Cloudflare: код разработчика запускается по запросу в дата-центрах её глобальной сети, а свои серверы и настройка инфраструктуры не нужны. Служит основой для других сервисов Cloudflare для разработчиков, например Durable Objects и Workers AI.
В новостях
NVIDIA заявила, что её процессор Vera быстрее чипов Intel и AMD в работе ИИ-агентов
Американская облачная платформа, на которой разработчики запускают модели, обработку данных и песочницы для агентов, не настраивая собственные серверы.