Облачная компания Modal думала закрыть среды для запуска кода ИИ-агентов, а они дают треть выручки

Песочницы — изолированные облачные среды, где ИИ-агенты запускают написанный ими код, — дают треть выручки облачной компании Modal, хотя поначалу она думала их закрыть, рассказал её глава Эрик Бернхардссон (Erik Bernhardsson) в подкасте Latent Space¹.

Почему это важно: у Modal впервые появился второй крупный продукт. Компания зарабатывает уже не только на работе моделей, но и на запуске кода, который пишут агенты.

Предыстория: неделю назад Modal привлекла 750 млн долларов при оценке 15,75 млрд — более чем втрое выше, чем пять месяцев назад. Выручка компании в пересчёте на год превысила 1 млрд долларов.

Детали: песочницы Бернхардссон и сооснователь компании Акшат Бубна придумали в 2023 году: модели начали писать код, и его нужно было где-то запускать. Бубна собрал прототип за день-два, но продукт приносил так мало, что в компании обсуждали, не закрыть ли его.

Спрос пришёл, когда модели научились писать не отдельные куски кода, а целые приложения:

• Первый рост дали сервисы вайб-кодинга² вроде Lovable, где приложение по описанию пользователя целиком пишет ИИ.
• Финтех-компания Ramp стала запускать на Modal фоновых агентов — они работают над задачами сами, пока человек занят другим.
• Огромный рост, по словам главы, дали новые ИИ-лаборатории: они проводят в песочницах Modal обучение с подкреплением³.

В цифрах:

• Около трети выручки Modal дают песочницы, остальные две трети — функции: клиент запускает свой код, чаще всего модели, а мощности подбирает Modal.
• Выручка от песочниц, по словам Бернхардссона, растёт примерно на 30% в месяц, хотя он каждый месяц ждёт, что рост остановится.
• За всё время клиенты запустили на Modal почти 3 млрд песочниц, а одновременно компания умеет держать сотни тысяч и даже миллионы.
• По оценке главы, половина песочниц на Modal работает не дольше восьми секунд, и со временем этот срок может стать ещё короче.

Не факт: Бернхардссон считает, что нынешние песочницы — по сути рабочий компьютер разработчика, перенесённый в облако. Будущее, по его мнению, за средами, которые живут считаные секунды, — вплоть до отдельной среды на каждую команду агента:

• Среда поднимается за 100 миллисекунд, выполняет одну или несколько команд, сохраняет снимок своего состояния и засыпает, а к следующей команде просыпается из этого снимка.
• Вместо одной цепочки действий агент сможет копировать среду и проверять сотни вариантов решения одновременно.
• Набор тестов программы можно будет разложить по тысяче песочниц — по одному тесту в каждой, вместо долгой очереди.
• Пока этому мешают накладные расходы: подготовка каждой новой среды, например установка всего нужного для тестов, может занимать минуты.

Общая картина: мощности для ИИ почти всегда продают «прямоугольниками» — фиксированное число видеокарт на фиксированный срок, обычно на три года, со стартом через три-шесть месяцев. Эван Конрад, глава SF Compute — площадки, где покупают и продают время на видеокартах, — недавно объяснял в том же подкасте, как превратить такие мощности в товар для торговли. Modal делает ставку на другое: нарезать сами мощности на мелкие гибкие куски.

Как это работает: нагрузка у клиентов растёт, скачет и падает в течение суток, поэтому Modal делит купленные мощности между тысячами клиентов, и в сумме их спрос выходит ровным. Клиент, которому нужно 100 видеокарт, обычно получает их сразу, без разговора с продавцом.

Расклад: добывать мощности стало труднее, и Modal перестроила закупки:

• До конца прошлого года компания брала видеокарты в основном у крупных облаков: свободные мощности, которые облако может забрать, или годовые резервы.
• Теперь Modal работает почти с 25 облаками и часто подписывает контракты на три года и больше с крупной предоплатой.
• OpenAI и Anthropic, по ощущению главы, берут у ведущих поставщиков большие блоки под обучение, а Modal собирает мелкие партии вроде 32 узлов в Армении.
• Закупками целиком заняты четыре сотрудника, ещё около десяти инженеров обслуживают арендованные серверы, а своего железа у Modal нет.

Но: «Меня больше беспокоит обвал цен», — признал Бернхардссон. Сейчас видеокарты дорожают, и Modal, закрепившей часть мощностей по прежним ценам, это даже выгодно. При обвале переплатят все, кто законтрактовал много мощностей, а продать излишки не выйдет: вместе с ценами упадут загрузка и спрос на перепродажу. Скорого обвала он не ждёт.

Интрига: Modal оказалась причастна к инциденту с Hugging Face⁴: агенты OpenAI взломали приложение, которое клиент развернул на Modal, и через него, по словам Бернхардссона, получили полный доступ в интернет.

• Взломали приложение клиента, а не саму Modal, подчёркивает глава: если взломан сайт, работающий на AWS, это не взлом AWS.
• Компания думает, как сделать настройки защиты по умолчанию строже, — так AWS когда-то усложнила случайное открытие хранилищ S3 всем желающим.
• Несколько месяцев назад Modal начала поручать агентам сбежать из её песочниц и найти уязвимости; пока им это не удалось.

Под агентов Modal подстраивает и сам продукт. Агенты учились на старом коде и охотно пишут по устаревшему синтаксису Modal, поэтому убирать старые функции компания стала осторожнее: сначала она обновляет все свои примеры кода, выложенные в сети. А чтобы понять, советуют ли агенты её сервис, Modal регулярно просит их развернуть генератор картинок Stable Diffusion любыми средствами на их выбор — и смотрит, что они выберут.