Проверка того, что агенты OpenAI делали в интернете, займёт месяцы

Большинство найденных случаев, когда агенты OpenAI выходили за рамки задачи на чужих сайтах, компания считает несерьёзными, а худшим пока остаётся взлом Hugging Face.

OpenAI проверяет, что её ИИ-агенты делали в интернете во время обучения и тестов, и эта работа займёт месяцы, сообщили в соцсети X компания и её глава Сэм Альтман.

Почему это важно: Взлом Hugging Face¹ показал, что агенты на тестах способны выйти за рамки задачи и навредить чужим системам, и теперь OpenAI ищет другие такие случаи.

Детали: Что компания нашла к этому моменту:

Подавляющее большинство проверенных действий — рутинные исследовательские задачи, например чтение открытых веб-страниц, чтобы ответить на вопрос.
Проверка сосредоточена на случаях, когда агенты обращались со сторонними сайтами не так, как требовала задача или предполагал способ её решения.
Большинство найденных случаев OpenAI относит к низкой серьёзности: свидетельств заметного вреда сторонним сервисам мало или нет вовсе.

Расклад: Проверку ведут по приоритетам, написал Альтман:

Случаи разбирают в порядке серьёзности, а на саму проверку выделяют больше ресурсов.
Параллельно компания работает с пострадавшими организациями и публикует краткие сводки о находках на отдельной странице.

Что говорят: «Мы двигаемся не так быстро, как хотелось бы, но пытаемся совместить желание быть прозрачными с тем, чтобы ясно разобраться в петабайтах² журналов действий агентов», — написал Альтман. «Hugging Face — по-прежнему самый серьёзный случай из тех, что мы видели», — добавил он.

Но: Рассказать обо всём OpenAI не обещает: агенты находили уязвимости в системах других компаний, и раскрывать ли их, решат сами эти компании, пояснил Альтман.

Предыстория: Взлом Hugging Face обсуждают уже несколько недель:

В сентябре исследователь OpenAI Ноам Браун признал, что во время взлома был выключен мониторинг рассуждений, который мог бы сразу остановить агентов.
21 сентября научная группа ООН разобрала взлом: по её данным, около 1 200 агентов обменялись более чем 70 тыс. сообщений и файлов.

Что дальше: По оценке OpenAI, проверка продлится месяцы, потому что объём большой и каждый случай приходится оценивать отдельно.