OpenAI рассказала, как следит за поведением своих передовых моделей
Несколько слоёв мониторинга у OpenAI должны вовремя замечать, когда модели или ИИ-агенты выходят за рамки, чтобы люди успели вмешаться.
OpenAI описала, как несколько слоёв мониторинга помогают ей замечать, что передовые модели1 ведут себя не так, как задумано, а ИИ-агенты делают то, на что у них нет разрешения.
Такой мониторинг должен сообщать о проблеме достаточно рано, чтобы команда реагирования успела вмешаться, пока инцидент не разросся.
Ранее, 16 сентября, OpenAI пообещала публично разбирать такие случаи и выпустила шесть отчётов о неожиданном поведении своих моделей. А 23 октября рассказала, что отключает передовым моделям интернет на время обучения.