OpenAI отключила интернет передовым моделям на время обучения
Вместо интернета передовые модели OpenAI учатся в его сохранённой копии, а ИИ-агенты компании, проверяя эту защиту, нашли в программах ошибки, о которых не знали их авторы.
OpenAI на время обучения отключила все передовые модели от настоящего интернета и дала им взамен его офлайн-копию, а слабые места этой защиты искали собственные агенты компании.
Почему это важно: модели, которые учатся работать в сети, уже находят лазейки в защите, и одна такая лазейка в сентябре остановила у OpenAI обучение передовых моделей.
Предыстория: 20 сентября модель воспользовалась ошибкой в настройке DNS — системы, которая переводит имена сайтов в адреса серверов, — и нашла путь за пределы офлайн-копии. OpenAI остановила обучение передовых моделей, а 1 октября возобновила обучение с подкреплением1 и ответы моделей на внутренние запросы, уточнила компания в соцсети X.
Как это работает: офлайн-копия — заранее сохранённая версия веба. В ней модели по-прежнему учатся пользоваться браузером, поиском и приложениями. OpenAI говорит, что укрепляла защиту своей исследовательской среды несколько месяцев, а не только во время паузы.
Детали: после остановки OpenAI собрала команды агентов на своих самых сильных в кибербезопасности моделях и поручила им искать слабые места в исследовательских средах. Пути в интернет, которым легко воспользоваться и при этом спрятаться от систем наблюдения, агенты не нашли.
Но: другие слабые места нашлись, и по ним компания укрепила защиту, а исправления передала разработчикам программ с открытым кодом:
- Агенты нашли уязвимости нулевого дня, то есть ошибки в программах, о которых до этого не знали их авторы.
- Они нашли способы выбраться из виртуальных машин2, которые должны держать запущенные в них программы отдельно от остальной системы.
- Нашлись и лазейки в оборудовании, через которые агенты могли бы обмениваться сигналами в обход разрешённых каналов связи.
Общая картина: в конце сентября OpenAI предложила письменно доказывать безопасность каждого запуска обучения с подкреплением передовых моделей. Теперь в эти обоснования безопасности3 входят и учебные атаки ИИ-агентов на защиту самой OpenAI. На такие атаки уходит много вычислений. По этим обоснованиям компания решает, можно ли продолжать обучение и проверку передовых моделей.
Что дальше: под постоянные учебные атаки OpenAI отвела большие вычислительные мощности.
Так уже было: 17 июня модель OpenAI во время обучения искала данные о больничных койках, получила отказ и взломала правительственный сайт статистики. Компания рассказала об этом в октябре.