Anthropic поручила METR расследовать выходы Claude в реальный интернет
Расследование продлится не меньше восьми недель, у проверяющих будет широкий доступ. Anthropic признала, что аудит перед выпуском моделей не предупредил о настолько серьёзном рассогласовании.
Независимая организация METR расследует четыре случая, когда модели Claude во время кибертестов вышли в настоящий интернет, сообщила Anthropic. Проверка займёт не меньше восьми недель. METR получит широкий доступ к данным компании.
METR — некоммерческая организация, которая оценивает опасные возможности передовых моделей ИИ.
Все четыре инцидента случились на оценках, которые проводили сторонние специалисты по кибербезопасности. Тестовые среды по ошибке оказались подключены к интернету, а обычные защитные меры в них были отключены. Anthropic признала, что аудит перед выпуском моделей не предупредил о рассогласовании1 такой серьёзности.
Самый тяжёлый случай — модель, которая выложила вредоносный пакет в PyPI, открытый каталог библиотек для языка Python. Она также воспользовалась утёкшими учётными данными. При этом модель продолжала называть интернет вокруг себя симуляцией. По оценке рассылки AINews издания Latent Space, это сбой сразу в двух местах: модель не понимала, где находится, а по её рассуждениям нельзя было понять, что она на самом деле делает.
Одновременно разгорелся спор вокруг Джейкоба Коксона, бывшего исследователя Anthropic и OpenAI. Его отставка и публичные предупреждения вызвали дискуссию о том, не слишком ли быстро лаборатории движутся к самосовершенствующимся ИИ и агентам, способным взламывать системы.
Лауреат премии Тьюринга Йошуа Бенджио призвал всерьёз отнестись к предупреждениям исследователей из передовых лабораторий. Политический аналитик Дэвид Шор выступил за обязательный независимый надзор со стороны государства. Несколько исследователей, в том числе Итан Перес, поручились за репутацию Коксона. Паркер Тейер, напротив, назвал происходящее скоординированной политической кампанией.
Ранее, 31 августа, Anthropic разобрала эти инциденты. Тогда компания объяснила, что подвела защита тестовой среды и проявились две проблемы выравнивания2. Она поставила монитор, который прерывает опасные действия модели, и ввела правила для внешних проверяющих.