OpenAI объяснила, как проверяет ответы по внутренней активности моделей
Защита OpenAI следит за внутренними сигналами модели и приостанавливает подозрительный ответ, чтобы другая модель проверила его на нарушение правил.
Начиная с GPT-5.6, OpenAI проверяет все ответы передовых моделей по их внутренней активности и может прервать выдачу текста при признаках нарушения правил.
Почему это важно: по результатам испытаний OpenAI, такая проверка требует меньше ресурсов и лучше выдерживает попытки обойти защиту, чем гораздо более крупные модели для проверки текста. Она дополняет существующие фильтры, которые анализируют запрос пользователя и ответ модели.
Как это работает: небольшие модели-классификаторы — «зонды» — получают числовые сигналы из внутреннего слоя основной модели. По мере появления ответа они оценивают, не нарушает ли он заданное правило. Эти сигналы могут помочь распознать опасное содержание даже в кодировке, которую понимает сама модель, но плохо разбирает внешний проверяющий. В опытах OpenAI точность зондов росла вместе со способностями моделей, за которыми они следили.
Детали: если оценка превышает заданный порог, система приостанавливает выдачу текста пользователю и передаёт сообщение рассуждающей модели для окончательной проверки. Вызовы инструментов — обращения модели к другим программам — тоже блокируются, пока их не признают безопасными. Зонды работают как на внутренних запросах OpenAI, так и на запросах пользователей.
В цифрах: для обучения обычно используют до 1 млн сообщений — смесь искусственно созданных и обезличенных разговоров. Нарушения в обучающих примерах отмечают наиболее сильные рассуждающие модели компании. Результат заметно зависит от случайных начальных значений, поэтому для каждого набора настроек обычно обучают минимум 32 варианта зонда. Лучший выбирают на одном наборе примеров, а окончательно проверяют на другом, который не участвовал в отборе.
Но: зонды зависят от размеченных данных — проверять ими можно только известные виды нежелательного поведения, которые поддаются оценке. Для другой модели, обученной с нуля, зонд приходится обучать заново: её внутренние сигналы будут другими. Даже обновления той же модели могут снижать точность проверки, поэтому зондам нужно периодическое переобучение.
Приведённые в отчёте результаты получены во внутренних экспериментах и, как подчёркивает OpenAI, не обязательно отражают характеристики уже развёрнутых проверяющих.