Revolut перевела инженеров на открытую модель GLM и говорит, что платит вдесятеро меньше
Открытая китайская модель GLM-5.3, которую Revolut запускает сама, стала основной для её программистов, а счёт, по словам компании, упал до десятой части прежнего.
Около 2000 инженеров Revolut работают с кодом в основном через открытую китайскую модель GLM-5.3, которую компания запускает сама. По словам компании, платит она теперь около десятой части того, что прежде уходило Anthropic и OpenAI. Об этом 13 октября на конференции AI Engineer1 в Нью-Йорке рассказал руководитель операций и инфраструктуры Revolut Дэвид Абитбол, а 3 ноября его выступление пересказал The Register.
Почему это важно: Revolut — банк под надзором регуляторов ЕС, и требования к нему, по словам Абитбола, самые строгие. Платный сервис лаборатории компания заменила собственной копией открытой модели, и запросы программистов теперь обрабатываются на ускорителях, которые выбрала сама Revolut, а не у разработчика модели. Кроме того, счёт больше не растёт с каждым запросом, и экономить на ИИ инженерам не нужно.
Предыстория: в начале 2025 года инженеры Revolut получили Gemini, в начале 2026-го — Claude Code, причём сразу со строгими лимитами расходов. К тратам на ИИ в компании тогда относились настороженно: по словам Абитбола, отдельные инженеры тратили 1 000, а то и 10 000 долларов в месяц «без особой отдачи». В апреле Revolut начала сама запускать GLM-5.1 от китайской Z.ai, а потом перешла на её же GLM-5.3.
Расклад: основная модель теперь GLM-5.3, а к передовым моделям лабораторий прибегают в виде исключения. Программу для работы с кодом выбирают отдельно от модели: инженеры обращаются к GLM через агентов для программирования OpenCode, Claude Code и Codex. GLM понимает только текст, поэтому запросы с картинками, например при работе над интерфейсом, маршрутизатор отправляет к Gemini или модели OpenAI. Китайское происхождение модели Абитбол помехой не считает: запросы не уходят к сервису в Китае, компания скачивает только веса — параметры уже обученной модели — и запускает её сама. Если модель работает на своих серверах или в региональном облаке, беспокоиться, по его словам, не о чем.
В цифрах: так, по словам Абитбола, система работает сейчас:
- Запросы около 2000 инженеров обрабатывает модель на 56 ускорителях B2002.
- Усреднённая цена — около 30 центов за миллион токенов3.
- Модель выдаёт около 200 токенов в секунду, а тем, кто садится за работу после пяти вечера, — до 800.
- С апреля по август нагрузка выросла примерно с 3 до более чем 7 запросов в секунду. Ждать начала ответа стали не 14,26 секунды, как в разгар перехода, а 1,68 секунды.
Как это работает: быстрее модель стала работать не благодаря новым ускорителям, а благодаря настройке тех же 56. Веса сжали до формата NVFP4, обработку запроса и выдачу ответа разнесли по разным ускорителям. Под реальные задачи подобрали и длину контекста — сколько текста модель учитывает за раз, считая запрос, код и историю переписки. Цель — чтобы модель начинала отвечать меньше чем через 3 секунды. «Как только переваливает за 5 секунд, мой Slack начинает разрываться», — сказал Абитбол. Длинный контекст он назвал «аферой»: модель можно обслуживать и с миллионом токенов, но на деле хватает 256 тысяч.
Детали: когда лимиты сняли, изменился и сам порядок работы. «Мы больше не смотрим, как модель рассуждает. Люди запускают задачи параллельно и возвращаются, когда задача готова», — рассказал Абитбол. По внутренним замерам Revolut, после перехода на GLM-5.1 сократилось и время на написание кода, и срок от начала работы над задачей до кода, готового к выкладке. Компания называет это улучшением на 60% и 70%, но не уточняет, сократилось ли время именно на столько. С Gemini те же показатели улучшились на 20% и 10%. При этом самым узким местом оказался вовсе не код: больше всего выиграли отладка и работа с задачами и документацией в Jira и Confluence.
Но: все эти цифры посчитала сама Revolut. Организаторы конференции на странице доклада оговаривают, что внутреннее сравнение не отделяет эффект смены модели от других причин. Японское издание XenoSpectrum обращает внимание, что компания не уточнила, из чего складываются 30 центов за миллион токенов: покупка или аренда ускорителей, электричество, зарплаты команды.
От OpenAI Revolut при этом не отказывается: в июле компании договорились, что клиенты Revolut получат подписку ChatGPT Go без доплаты на срок до 12 месяцев, в зависимости от тарифа.