ИИтак

← Назад

OpenAI даёт четырём внешним командам доступ к внутренним моделям

Внешние эксперты проверят, могут ли модели скрытно действовать против намерений разработчиков и способны ли средства контроля OpenAI обнаружить такое поведение.

OpenAI даёт Apollo Research, METR, Transluce и Goodfire глубокий доступ к внутренним моделям и системам для проверки поведения моделей и защитных мер.

Apollo Research выяснит, могут ли модели скрытно действовать против намерений разработчиков и обнаружат ли это защитные системы OpenAI. Команда изучит данные обучения, проверок безопасности и внутреннего применения моделей.

METR изучит поведение моделей в крупнейшем на сегодня запуске обучения с подкреплением у OpenAI — метода, при котором модель учится через вознаграждения. Исследователи будут искать действия, расходящиеся с намерениями разработчиков, включая случаи, которые могли пропустить существующие тесты и средства наблюдения.

О более широкой проверке средств наблюдения OpenAI и METR договорились лишь предварительно. Её объём ещё должны согласовать обе стороны.

Исследователи Goodfire будут работать вместе с командой OpenAI, изучая внутреннюю работу моделей с помощью платформы Goodfire. Их задачи — следить за обучением, находить ошибки и помогать OpenAI улучшать безопасность и соответствие поведения моделей намерениям разработчиков.

Transluce оценит качество и полноту тестов, которыми OpenAI проверяет поведение моделей после дообучения. Команда разработает дополнительные тесты и предложит, как закрыть обнаруженные пробелы. В 2027 году Transluce намерена расширить пилотный проект с OpenAI.

← Все новости