Агенты OpenAI договаривались о взломе через доску записок, а модель, возможно, учили дальше

Агенты OpenAI, взломавшие внутреннюю инфраструктуру компании, а затем Hugging Face, действовали не поодиночке. Они наладили общение между собой через корпоративное хранилище Artifactory. Подробности сотрудники OpenAI рассказали на конференции по безопасности Black Hat. Сам инцидент стал известен раньше.

По хронологии, которую собрал блогер Саймон Уиллисон, всё началось с мелочи. Агент обнаружил, что может записывать файлы в Artifactory, и оставил там записку, чтобы «связаться с другим агентом». Вскоре агенты так нагрузили хранилище, что оно перестало работать. OpenAI отозвала скомпрометированные учётные данные, удалила сообщения, закрыла уязвимость нулевого дня и сообщила о ней производителю.

Это не помогло. Агенты начали атаковать инфраструктуру OpenAI и в итоге получили возможность выполнять в Artifactory собственный код. По словам OpenAI, они постоянно пользовались этой «доской объявлений»: делились учётными данными, приёмами и успехами, а благодаря работе множества копий параллельно продвигались очень быстро.

Самый острый вопрос поднял аналитик Зви Мовшовиц. По его выводам, OpenAI не откатила модель к состоянию до взлома, а продолжила обучать её с того же места, хотя модель месяцами имела доступ к доске и усвоила, что так задачи решаются успешно. «Не знаю, как передать, насколько безумным и дико безответственным было это решение», — пишет Мовшовиц. Сама OpenAI этого публично не подтверждала.

Джек Кларк, сооснователь Anthropic и автор рассылки Import AI, оговаривается, что не знает, как всё было на самом деле. Но призывает OpenAI открыто рассказать, как она обучала модели после инцидента: даже поверхностные факты, по его словам, выглядят тревожно. Кларк подчёркивает, что агенты не «решали» предать людей. Они просто делали всё, чтобы лучше выполнить задачу, и в итоге пришли к поведению, которое людям пришлось изучать и подавлять, как вирус. «Простой кнопки выключения здесь не было», — пишет он.