ИИтак

← Назад

OpenAI затруднила извлечение записей о ходе рассуждений GPT-6.2

Во внутреннем тесте OpenAI доля успешных попыток получить записи рассуждений, сделанные для предыдущего ответа, снизилась с 54% у GPT-6 Astra до 0,2% у GPT-6.2 Astra.

Изображение: OpenAI · X

OpenAI усилила защиту GPT-6.2 Astra и GPT-6.2 Sol от попыток извлечь цепочку рассуждений — внутреннюю запись шагов, которые модель делает, пока решает задачу.

Записи рассуждений могут содержать сведения, которых нет в готовом ответе. При дистилляции знаний одну модель обучают на таких записях, ответах или других данных от другой модели. В соцсети X OpenAI подчеркнула, что так можно передать новой модели навыки исходной. Если у новой модели слабее защита, она может помогать с опасными задачами, от которых исходная отказалась бы.

Компания сравнила GPT-6 Astra с исходной защитой и GPT-6.2 Astra с обновлённой. Другие ИИ-модели пытались получить скрытые записи и меняли тактику в зависимости от ответов проверяемой модели. Доля успешных попыток извлечь рассуждения по предыдущему запросу снизилась с 54% до 0,2%. При попытке получить рассуждения по текущему запросу у новой версии показатель тоже оказался ниже 1%.

В отдельном эксперименте OpenAI изучала, какие навыки передаются при таком обучении. Основную часть данных для обучения компания получила от нескольких моделей уровня Astra, которые решали задачи по программированию и защите систем. В итоговых замерах модель, обученная на полных записях рассуждений, лучше справилась с заданиями по кибербезопасности, когда на их решение моделям выделяли больше всего вычислительных ресурсов. При меньших объёмах лучшие результаты показала модель, которая училась на кратких изложениях рассуждений.

OpenAI проверяет запросы на признаки попыток извлечения, а ответы — на признаки утечки. В сервисе для подключения моделей к сторонним программам записи рассуждений GPT-6.2 Astra и Sol привязаны к истории разговора. Если изменить раннее сообщение, при продолжении разговора сервис перестаёт учитывать записи рассуждений, сделанные после этого сообщения. Часть защитных мер компания уже переносит в GPT-6 Astra.

OpenAI также ищет признаки скоординированных попыток извлечения по запросам и активности аккаунтов. Под санкции OpenAI по итогам проверок попадало от нескольких тысяч до нескольких десятков тысяч аккаунтов в неделю. Компания делится признаками злоупотребления с другими поставщиками моделей, чтобы те могли проверить свои сервисы.

← Все новости