Workers AI
Сервис Cloudflare для запуска моделей машинного обучения на бессерверных графических процессорах (GPU) в глобальной сети компании. Разработчики обращаются к готовым моделям через API или из своих приложений на Cloudflare Workers и платят только за использование, не управляя серверами и их масштабированием.
проверено по: developers.cloudflare.com ↗
См. также
- CloudflareАмериканская компания с глобальной сетью, через которую проходит трафик множества сайтов и приложений. Она предоставляет сеть доставки контента (CDN), защиту от DDoS-атак и вредоносных ботов, DNS и облачную платформу для разработчиков. Её сервисы стоят между посетителем и сайтом: ускоряют загрузку и отсекают подозрительные запросы.
- Cloudflare WorkersБессерверная платформа компании Cloudflare: код разработчика запускается по запросу в дата-центрах её глобальной сети, а свои серверы и настройка инфраструктуры не нужны. Служит основой для других сервисов Cloudflare для разработчиков, например Durable Objects и Workers AI.
- Durable ObjectsСервис Cloudflare, особый вид воркера в Cloudflare Workers, в котором вычисления объединены с постоянным хранилищем. У каждого объекта глобально уникальное имя и собственные данные со строгой согласованностью, а запросы к нему выполняются по очереди. Поэтому через такие объекты удобно координировать работу нескольких клиентов: в чатах, совместном редактировании, многопользовательских играх и ИИ-агентах.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
В новостях
Cloudflare выпустила модель Clairic для извлечения чисел и дат из текста
Сервис Cloudflare, который запускает модели ИИ на видеокартах в её сети дата-центров. Разработчик вызывает модель через API или из своей программы на платформе Cloudflare Workers, без собственных серверов.
Cloudflare выпустила открытые модели-классификаторы Clef для ИИ-агентов
Сервис Cloudflare для запуска моделей ИИ: модели работают на видеокартах в дата-центрах компании, а разработчики обращаются к ним через API.