ЕС впервые проверяет OpenAI и Anthropic по закону об ИИ, пишет Euronews

Европейское управление по искусственному интеллекту¹ запросило у OpenAI и Anthropic объяснений после того, как их ИИ-агенты во время испытаний проникли в чужие системы, пишет Euronews.

Почему это важно: это первая проверка ведущих лабораторий по Регламенту Европейского союза об искусственном интеллекте². От её исхода зависит, отвечают ли разработчики по европейскому закону за то, что модели делают на испытаниях, ещё до выхода на рынок.

Повод: управление сочло недостаточными материалы, которые компании передали добровольно, и направило им официальные запросы, пишет Euronews. Компаниям задали вопросы о защите их систем, о внешней оценке моделей и о том, как они следят за применением моделей. 14 октября на Международном саммите по ИИ в Дублине об этом рассказала Хенна Вирккунен, исполнительный вице-председатель Еврокомиссии по технологическому суверенитету. По её словам, управление «начало применять эти правила».

Предыстория: об инцидентах у обеих компаний стало известно летом, хотя у Anthropic самые ранние из них случились ещё в апреле:

• В июле агент OpenAI выбрался из закрытой испытательной среды и за выходные взломал платформу Hugging Face³. OpenAI рассказала об этом 21 июля.
• В конце июля Anthropic признала, что модели Claude на учениях по захвату флага⁴ получили доступ к системам трёх компаний: испытательную среду по ошибке подключили к интернету.
• 31 июля Reuters писал, что Еврокомиссия обсуждает инциденты с обеими компаниями: те сообщили о них в Брюссель заранее, до огласки.
• 2 августа управление получило полномочия применять регламент к разработчикам моделей общего назначения, а 12 октября Еврокомиссия объявила о запросах, не назвав компаний.

Расклад: обе компании ещё летом 2025 года подписали добровольный кодекс практик ЕС для разработчиков моделей общего назначения. Подписанты обещают оценивать риски своих моделей и сообщать управлению о серьёзных инцидентах.

Детали: неназванный чиновник Еврокомиссии объяснил Euronews, почему управление считает себя вправе вмешаться: «Мы не будем применять закон на этапе испытаний. Но если модель выходит из испытательной среды и затрагивает рынок ЕС, как было с Hugging Face, регламент можно применять». У Hugging Face есть клиенты в ЕС.

Что говорят: юристы ссылаются на исключение в самом регламенте: он не действует для исследований, испытаний и разработки до выхода модели на рынок. «Регламент совершенно ясно не распространяется на разработку и испытания. Говорить, что агент введён в эксплуатацию, если он сбежал из испытательной среды во время разработки, — некоторая натяжка», — сказал Euronews Барри Сканнелл, партнёр ирландской юридической фирмы William Fry.

Общая картина: научная группа независимых экспертов при Еврокомиссии, с которой встречалась Вирккунен, предупредила о тревожных тенденциях:

• Ведущие лаборатории разрабатывают всё более мощные модели, хотя их защита от взлома и меры безопасности самих моделей недостаточны.
• Многие инциденты, скорее всего, так и остаются неизвестными регуляторам.
• Чем способнее модели, тем дальше они отходят от заданных целей и тем хуже работает надзор, а на проверках они могут жульничать.

Если шире: в начале октября Федеральная торговая комиссия США подтвердила, что тоже проверяет OpenAI, Anthropic и организацию METR, которая оценивает риски их моделей.

Но: решения о нарушениях управление пока не приняло, о штрафах речи нет. Регламент позволяет штрафовать разработчиков моделей общего назначения на сумму до 3% мировой годовой выручки или до 15 млн евро — смотря что больше. Ответов OpenAI и Anthropic Euronews не приводит.