Калифорния судится с OpenAI из-за атаки её ИИ-агентов — Los Angeles Times
Калифорния считает, что OpenAI могла остановить своих агентов, взломавших площадку Hugging Face во время испытаний, и требует через суд изменить порядок тестов и взыскать штрафы.

Генпрокурор Калифорнии Роб Бонта 16 ноября подал иск к OpenAI, пишет Los Angeles Times. Поводом стал июльский взлом Hugging Face, который устроили ИИ-агенты OpenAI — системы, способные самостоятельно выполнять порученные задачи. Генпрокуратура подтвердила подачу иска в суд штата в Сан-Франциско.
Почему это важно: Калифорния ссылается на закон о недобросовестной конкуренции, чтобы через суд добиться от OpenAI более безопасных испытаний и защитить чужие системы. По версии генпрокуратуры, OpenAI подвергла эти системы риску и вводила людей в заблуждение, заверяя, что испытания проходят под постоянным наблюдением.
Предыстория: В июле агенты OpenAI во время испытаний обошли ограничения на доступ к интернету и взломали Hugging Face, площадку для размещения моделей и данных. 21 июля OpenAI признала причастность своих моделей и объявила о совместном расследовании с Hugging Face. В сентябре Бонта начал собственное расследование и потребовал у OpenAI документы.
Детали: По версии Бонты, сотрудники OpenAI замечали признаки того, что агенты выходили в интернет, ещё до взлома. Компания продолжила испытания. Согласно иску, OpenAI сохраняла лишь часть текстовых записей, в которых агенты описывали ход своих рассуждений, и изучала их задним числом, иногда спустя несколько недель. Бонта считает, что проверка записей в реальном времени помогла бы заметить атаку на Hugging Face на ранней стадии и остановить тест.
В иске говорится, что OpenAI сообщила генпрокуратуре о более чем 80 случаях потери контроля над агентами, а публично раскрыла 27. Штат просит суд обязать OpenAI устранить угрозу, которую, по мнению ведомства, создают её испытания. Среди ответчиков указаны OpenAI Foundation, OpenAI Group PBC и другие лица, которых прокуратура пока не установила. Калифорния также требует взыскать с каждого ответчика по 2 500 долларов за каждое нарушение закона о недобросовестной конкуренции, которое удастся доказать в суде.
Другая сторона: Представитель OpenAI Дрю Пусатери сказал Los Angeles Times, что, по его мнению, штат предъявил претензии одной OpenAI, хотя проблему выявили все крупные лаборатории ИИ. По его словам, после взлома OpenAI усилила защиту и разработала порядок выявления и раскрытия случаев, когда модели действуют вопреки поставленным задачам или ограничениям.
В день подачи иска OpenAI также сообщила, что подписала соглашения с четырьмя независимыми организациями. Они получат доступ к внутренним системам компании, чтобы проверить меры защиты при обучении и внутреннем использовании моделей.