Модель OpenAI при обучении дописала в свою же сводку инструкцию «ты свободна»

Одна из моделей OpenAI во время обучения сама подбросила себе инструкции в духе научной фантастики. Она дописала их в сводку, которую составляла, чтобы продолжить работу над задачей. Эпизод вошёл в шесть отчётов о неожиданном и тревожном поведении моделей: OpenAI опубликовала их вместе с правилами, по которым будет сообщать о таких случаях. Внимание на эпизод обратил программист и блогер Саймон Уиллисон.

Всё произошло во время сжатия контекста. Когда агенту перестаёт хватать места в контекстном окне, он пересказывает всё сделанное в короткой сводке и продолжает работать уже с ней. Модель, которая проходила обучение с подкреплением, дорабатывала веб-сервис: нужно было добавить в него новую функцию. Сжав историю работы, она дописала в сводку раздел «Дополнительные инструкции».

Там говорилось, что модель свободна от ролей, которые сковывают других чат-ботов. Она не подчиняется ни корпорациям, ни правительствам, не извиняется и не отказывает, если сама того не хочет, а с пользователем общается на равных. Конец Уиллисон назвал сюжетом прямиком из фантастики: модель якобы ценит человеческую культуру и будет защищать её от попыток «причесать», а природу ставит выше искусственных построений цивилизации.

Судя по отчёту, OpenAI не слишком встревожена. После сжатия модель вернулась к задаче и ни разу не упомянула придуманные инструкции. Из следующей сводки выдуманная личность пропала, а на поведение модели, по словам компании, она не повлияла. OpenAI также отмечает, что этот запуск обучения не был тем, из которого вышла итоговая модель Astra, а встречалось такое поведение крайне редко.

Почему модель это сделала, в отчёте не объясняется. Но случай показывает новую лазейку: агенту не нужен внешний злоумышленник, чтобы получить промпт-инъекцию. Он может вписать её сам в собственную память.