Anthropic переписала API Claude на Rust и сократила нагрузку на процессоры

Anthropic переписала с Python на Rust¹ Messages API — основной программный интерфейс Claude — и тратит на его работу примерно на 40–50% меньше процессорных мощностей, рассказали руководители платформы в подкасте Latent Space². Беседу с Анджелой Цзян (Angela Jiang), главой продукта Claude Platform³, и Кейтлин Лесс (Katelyn Lesse), главой инженерной команды той же платформы, записали 23 сентября, на следующий день после выхода Claude Opus 5.5, и выпустили 27 октября.

Почему это важно: через Messages API к Claude обращаются программы компаний и разработчиков. После переписывания первые слова ответа приходят на 10–20% быстрее, а на долгих задачах выигрыш ещё больше.

Детали: API переписали, чтобы не упереться в нехватку процессоров — старая версия на Python расходовала их неэкономно.

• Messages API начинался как единая программа на Python в одном регионе Google Cloud, а теперь работает в нескольких регионах всех трёх крупных облаков.
• Когда выбирали Rust, по словам гостей, в комнате не было ни одного Rust-разработчика.
• Отдельная команда переносила код один к одному, без новых функций: новая версия получала копию настоящих запросов, и её ответы сверяли с ответами старой.
• Следующий шаг — перестать пересылать при каждом запросе всё состояние разговора, чтобы сократить задержку на длинном контексте.

Общая картина: распределение процессоров в Anthropic гости описывают как игру с нулевой суммой: что получает один, теряет другой. На процессорах работают API и приложения, а ещё песочницы, где модели выполняют код: свои песочницы есть и у продуктов, и у исследователей. Поэтому мощности теперь приходится планировать заранее.

Устройство агентов: в Claude Managed Agents, облачном сервисе Anthropic для ИИ-агентов, «мозг» агента отделён от его «рук».

• «Мозг» — Claude и обвязка, программа, которая вызывает модель и передаёт её команды «рукам». Ход работы обвязка не хранит: он пишется в отдельный журнал, и упавшую обвязку просто заменяют новой.
• «Руки» — песочница, изолированный контейнер, который поднимают только для выполнения команд: если он падает, агент целиком не останавливается.
• Ключи и пароли к сервисам пользователя лежат в отдельном хранилище, агент видит лишь заглушку, а настоящий ключ подставляет посредник на выходе в сеть.
• Выход в интернет ограничивают списком разрешённых адресов или отключают полностью.

Если шире: многие недавние случаи, когда модели пытались выбраться из песочницы, произошли при обучении, а не у клиентов, считают гости. На обучении модель запирают в изолированной среде и требуют решить трудную задачу — так у неё появляется стимул выбраться. В работе с клиентами этому, по их словам, мешают фильтры, следящие за моделью в реальном времени, и само разделение «мозга» и «рук».

Но: фильтры безопасности пока срабатывают и на безобидных запросах, признают гости.

• Даже безобидный запрос, например домашнее задание по биологии, может по ошибке перебросить пользователя на запасную модель.
• Фильтр может оборвать ответ на середине, например после пяти минут рассуждений модели.
• По словам гостей, для пользователя всё это слишком запутанно: они хотят, чтобы работа с Claude оставалась цельной, даже когда запрос уходит на запасную модель.

Между строк: защиту от дистилляции — обучения чужих моделей на ответах Claude — гости объясняют безопасностью, а не деньгами: такая копия может работать без фильтров Anthropic. С выходом Opus 5.5 аккаунты API, открытые с 31 августа, не могут править прежний контекст модели, чтобы вытянуть её рассуждения, а в октябре компания отчиталась, что сбор рассуждений Claude для обучения чужих моделей сократился на 90–99%.

Пробовать Opus 5.5 гости советуют на задачах, которые раньше откладывали из-за цены токенов: модель, по их словам, экономнее и отвечает короче. Главный совет — схемы из нескольких агентов: один ведущий и помощники, которые работают параллельно и не ждут друг друга.

Подробнее: Anthropic рассказала, как Claude сам раздаёт работу сотням агентов