ИИтак

← Назад

Transluce раскрыла условия, на которых будет проверять OpenAI изнутри

Лаборатория Transluce шесть недель будет изнутри проверять, насколько хорошо внутренние тесты OpenAI замечают, когда модели обманывают и манипулируют. Денег она не берёт, а отчёт OpenAI прочтёт до публикации.

Некоммерческая лаборатория Transluce с начала декабря шесть недель будет работать на месте в OpenAI. Она проверит, насколько хорошо внутренние тесты компании замечают, когда модель обманывает, манипулирует или добивается высокой оценки в обход самой задачи. Условия лаборатория раскрыла заранее: денег она не берёт, своих сотрудников для проверки согласует с OpenAI, а отчёт компания прочтёт до публикации.

Transluce получит сведения, которые внешним проверяющим обычно недоступны. Но рамки работы задаёт сама проверяемая компания, и от них зависит, что из увиденного дойдёт до публики.

16 ноября OpenAI объявила, что пускает четыре внешние команды к внутренним моделям и проверкам. Transluce должна оценить сами тесты на выравнивание: ими OpenAI после обучения выясняет, ведёт ли себя модель так, как задумали разработчики. Лаборатория изучает поведение моделей, в том числе агентов, вышедших из-под контроля, и манипуляцию.

команде дадут несколько моделей OpenAI, среди них минимум одну внутреннюю, и покажут их необработанные цепочки рассуждений — черновые записи, которые модель ведёт перед ответом. Ещё ей откроют часть непубличных тестов, много записей прошлых прогонов обучения и проверок и документы с обоснованием безопасности1. Сама Transluce подчёркивает, что такой доступ «не сравним с доступом на уровне сотрудника или близким к нему».

остальная часть договорённости касается доступа, денег и людей.

  • Больше доступа можно попросить по ходу работы, но решает OpenAI. Transluce обещает публично рассказать, что просила, что одобрили, а что нет, и как это сказалось на выводах.
  • Transluce и её сотрудники не берут у OpenAI денег. Компания оплачивает вычисления, даёт устройства, инфраструктуру и временные рабочие места.
  • OpenAI заранее одобряет, кто из Transluce будет работать внутри, и может отсеять кандидатов по соображениям безопасности, конфиденциальности и конфликта интересов.
  • Споры о доступе и вычеркиваниях сначала решают с контактным лицом в OpenAI, затем — с руководством и комитетом по безопасности и защите2 при совете OpenAI Foundation3. К комитету Transluce может обратиться и напрямую.

отчёт пишет и редактирует Transluce, однако OpenAI получит его до выхода и сможет попросить вычеркнуть интеллектуальную собственность и другие непубличные сведения. Результаты по внутренним моделям публиковать нельзя вовсе: публичная часть будет касаться только выпущенных моделей. Полную версию без вычеркиваний получит комитет. Если ограничения OpenAI существенно повлияют на выводы, Transluce вправе сказать об этом публично.

похожую проверку OpenAI уже проходила. Сотрудники METR и Redwood Research три недели изнутри проверяли, как компания следит за своими ИИ-агентами, и нашли лазейки, через которые агенты могли бы уйти из-под надзора. Пользовались ли ими агенты на деле, проверяющие не установили. Об этом стало известно в октябре.

в начале 2027 года Transluce и OpenAI собираются провести более полную проверку с более широким доступом, но детали ещё не согласованы. Лаборатория рассчитывает со временем направлять своих проверяющих и к другим разработчикам моделей.

При этом Transluce оговаривается, что такие проверки «не могут заменить другие формы публичной прозрачности, подотчётности и надзора», и обещает продолжать полностью открытые исследования.

← Все новости