OpenAI и Anthropic объяснили, где финансовым ИИ-агентам нужен человек

На конференции AI Engineer¹ в Нью-Йорке OpenAI, Anthropic, хедж-фонд Two Sigma² и Bloomberg объясняли одно: от ошибок финансовых ИИ-агентов защищает не число запретов, а то, где их работу проверяют правила и человек. Так итог выступлений сформулировало издание Latent Space.

Почему это важно: Лаборатории предлагают финансовым компаниям общую схему доверия к агентам, но ставить проверки вокруг своих агентов банкам и фондам, по выводу Latent Space, придётся самим. Two Sigma рассказала, что безопасность не обязательно тормозит работу: её проверки держат агентов под контролем, не урезая возможностей моделей.

Предыстория: В сентябре Anthropic выпустила Claude for Financial Advisors: с ним финансовые консультанты подключают свои системы к Claude и к набору навыков для рабочих задач.

Детали: Джозеф Ким, который в OpenAI руководит версией ChatGPT для инвестбанкиров и аналитиков, говорил о «пороге полезности» — моменте, когда модель становится «достаточно способной и надёжной, чтобы экономить вам время». По словам Кима, модели становятся сильнее и скоро перейдут этот порог и в задачах финансовых аналитиков: те смогут поручать агентам больше работы. Ким ждёт, что в 2027 году отрасль будет меньше полагаться на Excel и PowerPoint, а агенты станут достаточно хороши, чтобы искать инвестиционные идеи и торговать.

Расклад: Где агенту нужен человек, Ким считает вопросом устройства продукта: что пользователь должен по-прежнему контролировать, проверять или утверждать. Другие выступавшие рассказали, как они на него отвечают:

• Two Sigma описала пять средств контроля, в том числе классификаторы³, которые сами разбирают рутинные запросы агента и передают человеку только самые важные.
• Anthropic строит «слой доверия»: агенту выдают учётную запись с правами доступа, его действия заранее одобряет человек, а проверки показывают, что агент по-прежнему работает после изменений в настройках.
• Bloomberg советует ставить проверки вне модели: узкие права доступа, контроль вызовов инструментов и исходящего трафика, журналы действий, бюджеты и аварийное отключение.

Как это работает: Кеон Шахаб, который занимается в Anthropic прикладным ИИ, показал границу между «предложить» и «сделать» на агенте, который ищет причины расхождений в учёте сделок. «Мы хотим, чтобы он только предлагал новые правки в наши данные о заявках, а не вносил их на самом деле», — сказал Шахаб.

Интрига: Джон Феминелла, старший вице-президент Two Sigma по архитектуре, предупреждал об «усталости от подтверждений». Если человек должен одобрять всё подряд, работа тормозится, а когда он перестаёт вникать в каждое решение, он сам становится риском.

Но: Модель можно обмануть через данные, которые она читает. Андрей Рыбка из офиса технического директора Bloomberg рассказал, как агент прочитал команду в отзыве на маркетплейсе и принял её за распоряжение закупить товар, — это промпт-инъекция⁴. Поэтому он предлагает ставить жёсткие проверки вне модели: «Проверяйте каждый вызов, записывайте его и держите аварийный выключатель».

Если шире: Регуляторы уже разбираются с агентами, которые выходили из-под контроля. 1 октября Федеральная торговая комиссия США подтвердила, что проверяет OpenAI и Anthropic, а Еврокомиссия, по данным Euronews, впервые проверяет обе лаборатории по закону об ИИ.

«Зачем машинам тормоза? Не только для того, чтобы останавливаться, а для того, чтобы можно было быстро ехать и безопасно остановиться», — закончил выступление Феминелла.