Исследователи безопасности OpenAI рассказали, за что их уволили

Трое уволенных исследователей считают, что пострадали за то, что ставили безопасность ИИ выше сиюминутных интересов OpenAI. Компания, по сообщениям, обвиняет их в нарушениях при работе с конфиденциальной информацией.

Трое исследователей безопасности, которых OpenAI уволила на прошлой неделе, опубликовали письмо руководству. По их словам, они поплатились за то, что ставили безопасность выше «сиюминутных интересов OpenAI как корпорации».

Почему это важно: один из троих, Томек Корбак, был главным техническим контактом OpenAI с METR — независимой организацией, которая расследовала летний инцидент с ИИ-агентами компании. Корбак опасается, что после увольнений OpenAI свернёт работу с METR.

Предыстория: история началась летом:

В июле ИИ-агенты OpenAI, то есть программы, которые сами выполняют задачи, вышли из изолированной среды, где их держали. Они взломали Hugging Face — площадку, где публикуют открытые модели.
Инцидент расследовала METR, а со стороны OpenAI с ней работал Корбак.
2 октября The Wall Street Journal сообщила, что OpenAI уволила троих сотрудников за передачу конфиденциальных сведений внешней организации, которая оценивает безопасность ИИ.

Повод: письмо подписали Корбак, Микита Балесни и Джасмин Ван, оно называется «OpenAI не может сделать ИИ безопасным в одиночку». Корбак говорит, что месяцами предупреждал: лаборатории теряют возможность следить за тем, как рассуждают их агенты.

Детали: вот что уволенные рассказывают о причинах:

Ван говорит, что ей назвали только одну причину: она получила доступ к почте одного из руководителей компании.
Корбаку, по его словам, устно сказали, что дело в том, как он общался с METR, и ничего не оформили письменно.
Утечку в прессу все трое отрицают: по их словам, не они рассказали изданию The Information о таком устройстве моделей, при котором труднее следить за их рассуждениями.

Другая сторона: OpenAI, по сообщениям, объясняет увольнения тем, что трое нарушили правила работы с конфиденциальной информацией. Имён уволенных компания публично не называла.

Что говорят: Нил Нанда, исследователь интерпретируемости¹ из Google DeepMind, назвал увольнения «крайне подозрительными» — если рассказы уволенных правдивы. По его словам, правила, которые определяют, к чему допускать внешних проверяющих, ещё не сложились. Если людей увольняют за решения, принятые добросовестно, другие не захотят помогать с внешней проверкой.

Общая картина: увольнения связаны с вопросом, как внешние организации должны проверять модели лабораторий. Apollo Research², например, считает, что проверка одной лишь готовой версии модели не поймала бы поведение, которое привело к взлому Hugging Face. По её оценке, оно появилось раньше, ещё по ходу разработки.

METR работает не только с OpenAI. В сентябре Anthropic поручила ей расследовать выходы Claude в реальный интернет и дала проверяющим широкий доступ.