ИИтак

← Назад

OpenAI описала, как снижает риски при обучении и выпуске моделей

OpenAI учит модели соблюдать правила безопасности, ограничивает их доступ к внешним системам и применяет средства, которые отслеживают и блокируют опасное поведение.

OpenAI описала, как на всём пути от обучения до выпуска старается предотвратить вред от действий передовых моделей, сочетая работу над их поведением с техническими мерами защиты.

OpenAI обучает модели следовать правилам и ограничивает их доступ к внешним системам, изолируя среду для обучения и исследовательских испытаний. Модели, которыми сотрудники пользуются в работе, получают доступ к интернету и внутренним сервисам OpenAI. Компания также следит за поведением моделей и применяет средства, которые могут заблокировать опасное действие.

23 октября OpenAI рассказала, что отключила моделям интернет на время обучения и дала им искать информацию в подборке заранее сохранённых веб-страниц. 2 ноября компания объяснила, как система защиты следит за внутренними сигналами модели, пока та составляет ответ. Если система замечает признаки нарушения, она приостанавливает показ ответа пользователю, чтобы другая модель проверила, соблюдены ли правила.

← Все новости