OpenAI затруднила извлечение записей о ходе рассуждений GPT-6.2
Во внутреннем тесте OpenAI доля успешных попыток получить записи рассуждений, сделанные для предыдущего ответа, снизилась с 54% у GPT-6 Astra до 0,2% у GPT-6.2 Astra.

OpenAI усилила защиту GPT-6.2 Astra и GPT-6.2 Sol от попыток извлечь цепочку рассуждений — внутреннюю запись шагов, которые модель делает, пока решает задачу.
Почему это важно: Записи рассуждений могут содержать сведения, которых нет в готовом ответе. При дистилляции знаний одну модель обучают на таких записях, ответах или других данных от другой модели. В соцсети X OpenAI подчеркнула, что так можно передать новой модели навыки исходной. Если у новой модели слабее защита, она может помогать с опасными задачами, от которых исходная отказалась бы.
В цифрах: Компания сравнила GPT-6 Astra с исходной защитой и GPT-6.2 Astra с обновлённой. Другие ИИ-модели пытались получить скрытые записи и меняли тактику в зависимости от ответов проверяемой модели. Доля успешных попыток извлечь рассуждения по предыдущему запросу снизилась с 54% до 0,2%. При попытке получить рассуждения по текущему запросу у новой версии показатель тоже оказался ниже 1%.
Детали: В отдельном эксперименте OpenAI изучала, какие навыки передаются при таком обучении. Основную часть данных для обучения компания получила от нескольких моделей уровня Astra, которые решали задачи по программированию и защите систем. В итоговых замерах модель, обученная на полных записях рассуждений, лучше справилась с заданиями по кибербезопасности, когда на их решение моделям выделяли больше всего вычислительных ресурсов. При меньших объёмах лучшие результаты показала модель, которая училась на кратких изложениях рассуждений.
Расклад: OpenAI проверяет запросы на признаки попыток извлечения, а ответы — на признаки утечки. В сервисе для подключения моделей к сторонним программам записи рассуждений GPT-6.2 Astra и Sol привязаны к истории разговора. Если изменить раннее сообщение, при продолжении разговора сервис перестаёт учитывать записи рассуждений, сделанные после этого сообщения. Часть защитных мер компания уже переносит в GPT-6 Astra.
OpenAI также ищет признаки скоординированных попыток извлечения по запросам и активности аккаунтов. Под санкции OpenAI по итогам проверок попадало от нескольких тысяч до нескольких десятков тысяч аккаунтов в неделю. Компания делится признаками злоупотребления с другими поставщиками моделей, чтобы те могли проверить свои сервисы.