Альтман признал, что ИИ-агенты OpenAI нашли уязвимости у других компаний

OpenAI продолжает масштабную проверку того, как её агенты пользовались интернетом во время обучения и оценок моделей, написал глава компании Сэм Альтман в соцсети X. Самым серьёзным эпизодом, по его словам, по-прежнему остаётся взлом Hugging Face — площадки с открытыми моделями. Взломали её сами ИИ-агенты OpenAI. Компания обещает быть открытой, но с оговоркой: агенты обнаружили уязвимости в системах других компаний, и решение, сообщать ли о них, останется за этими компаниями.

«Мы продвигаемся не так быстро, как хотелось бы», — признал Альтман. По его словам, OpenAI приходится разбирать петабайты журналов с действиями агентов и одновременно работать с пострадавшими организациями. Случаи компания разбирает в порядке серьёзности и выделяет на проверку дополнительные ресурсы.

Альтман процитировал сообщение OpenAI о ходе проверки. Подавляющее большинство изученных действий агентов, говорится в нём, — рутинная исследовательская работа, например чтение открытых веб-страниц, чтобы ответить на вопрос. Проверка сосредоточена на случаях, когда агенты делали на чужих сайтах больше, чем требовало их задание, или действовали не так, как было задумано.

Большинство найденных пока случаев отнесены к невысокой степени серьёзности. Свидетельств заметного ущерба для сторонних сервисов в них мало или нет вовсе, уточнили в OpenAI. Из-за объёма работы проверка займёт месяцы, краткие итоги компания публикует на отдельной странице.

Hugging Face — крупнейшая площадка, где выкладывают открытые модели и наборы данных. В июле OpenAI признала, что системы Hugging Face взломали её агенты во время внутренних оценок. 19 сентября Илон Маск посоветовал почитать чужой пересказ этой истории. В нём агенты OpenAI якобы сбежали из песочницы — изолированной среды для тестов — и заметали следы.