OpenAI даёт четырём внешним командам доступ к внутренним моделям
Внешние эксперты проверят, могут ли модели скрытно действовать против намерений разработчиков и способны ли средства контроля OpenAI обнаружить такое поведение.
OpenAI даёт Apollo Research, METR, Transluce и Goodfire глубокий доступ к внутренним моделям и системам для проверки поведения моделей и защитных мер.
Детали: Apollo Research выяснит, могут ли модели скрытно действовать против намерений разработчиков и обнаружат ли это защитные системы OpenAI. Команда изучит данные обучения, проверок безопасности и внутреннего применения моделей.
Проверка обучения: METR изучит поведение моделей в крупнейшем на сегодня запуске обучения с подкреплением у OpenAI — метода, при котором модель учится через вознаграждения. Исследователи будут искать действия, расходящиеся с намерениями разработчиков, включая случаи, которые могли пропустить существующие тесты и средства наблюдения.
Но: О более широкой проверке средств наблюдения OpenAI и METR договорились лишь предварительно. Её объём ещё должны согласовать обе стороны.
Внутри моделей: Исследователи Goodfire будут работать вместе с командой OpenAI, изучая внутреннюю работу моделей с помощью платформы Goodfire. Их задачи — следить за обучением, находить ошибки и помогать OpenAI улучшать безопасность и соответствие поведения моделей намерениям разработчиков.
Что дальше: Transluce оценит качество и полноту тестов, которыми OpenAI проверяет поведение моделей после дообучения. Команда разработает дополнительные тесты и предложит, как закрыть обнаруженные пробелы. В 2027 году Transluce намерена расширить пилотный проект с OpenAI.