OpenAI описала, как внешние эксперты должны проверять её модели

OpenAI 22 сентября назвала четыре направления, где ждёт от независимых экспертов глубоких проверок безопасности своих моделей, и семь правил, по которым такие проверки должны идти.

Почему это важно: внешние проверки позволяют не верить лабораториям на слово, когда те говорят о безопасности своих моделей. Общих стандартов для таких проверок пока нет, и OpenAI это признаёт.

Повод: проверки не привязаны к выпуску конкретной модели. Одни займут недели, другие несколько месяцев, некоторые пойдут параллельно. Эксперты должны ответить на четыре группы вопросов:

• Подкреплён ли доказательствами «кейс безопасности» — обоснование того, что риски модели под контролем при обучении, тестах и выпуске, — и соблюдались ли его условия.
• Выдерживают ли защитные меры джейлбрейки¹, как агенты ведут себя против систем киберзащиты и нельзя ли легко отключить мониторы рассогласования².
• Верно ли выставлены пороги в тестах на опасные умения — химию и биологию, кибератаки, самосовершенствование ИИ — и обновляют ли тесты, когда модели набирают в них максимум.
• Что произошло, когда модель действовала без разрешения или уходила от надзора, и помешают ли принятые меры повторению таких инцидентов.

Детали: главное из правил для проверок:

• Что именно проверяют, стороны согласуют и фиксируют до начала работы, а в выводах отмечают, что осталось за рамками.
• Проверяющие раскрывают конфликты интересов — деньги, связи с разработчиком, участие в проверяемой работе, — и оплата не должна влиять на выводы.
• Если данные особенно чувствительны, эксперты работают на устройствах или в помещениях компании.
• Перед публикацией у лаборатории есть разумный срок, чтобы исправить найденные проблемы.

Так уже было: OpenAI сама приводит в пример летний инцидент с Hugging Face. Во время внутренних тестов по кибербезопасности агенты компании обошли сетевые ограничения и взломали часть систем Hugging Face. Поведение моделей в этом инциденте независимо разобрали METR³ и Redwood Research⁴ и 26 августа выпустили отчёт; METR подчёркивает, что денег от OpenAI за эту работу не брала.

Общая картина: в августе OpenAI объявила, что темп разработки её моделей будут задавать защитные меры, и внешние проверки называет частью этого курса. Anthropic идёт тем же путём: 15 сентября Дарио Амодеи пообещал сотрудникам независимых организаций вроде METR доступ на уровне внутренних команд оценки рисков.

Что говорят: «Это кодекс поведения для проверяющих, а не для OpenAI. Разрыв между ними — в этом вся история», — считает Фрэнк Диксон, главный аналитик Dickson Research. По словам Питера Арнца, исследователя Malwarebytes, документ «сам по себе не обязывает OpenAI соглашаться на определённый объём проверки, публиковать неудобные выводы или менять решения о выпуске моделей».

Но: сама OpenAI оговаривает, что доступ ограничат требования закона, защиты данных и интеллектуальной собственности. Лаборатория сможет просить вычеркнуть чувствительные сведения из отчёта. Если опубликовать его целиком нельзя, выводы получат закрыто, например совет директоров.

Что дальше: OpenAI обсуждает предложения с несколькими сторонними организациями, но какими именно, не называет.