Transluce раскрыла условия, на которых будет проверять OpenAI изнутри
Лаборатория Transluce шесть недель будет изнутри проверять, насколько хорошо внутренние тесты OpenAI замечают, когда модели обманывают и манипулируют. Денег она не берёт, а отчёт OpenAI прочтёт до публикации.
Некоммерческая лаборатория Transluce с начала декабря шесть недель будет работать на месте в OpenAI. Она проверит, насколько хорошо внутренние тесты компании замечают, когда модель обманывает, манипулирует или добивается высокой оценки в обход самой задачи. Условия лаборатория раскрыла заранее: денег она не берёт, своих сотрудников для проверки согласует с OpenAI, а отчёт компания прочтёт до публикации.
Почему это важно: Transluce получит сведения, которые внешним проверяющим обычно недоступны. Но рамки работы задаёт сама проверяемая компания, и от них зависит, что из увиденного дойдёт до публики.
Предыстория: 16 ноября OpenAI объявила, что пускает четыре внешние команды к внутренним моделям и проверкам. Transluce должна оценить сами тесты на выравнивание: ими OpenAI после обучения выясняет, ведёт ли себя модель так, как задумали разработчики. Лаборатория изучает поведение моделей, в том числе агентов, вышедших из-под контроля, и манипуляцию.
Детали: команде дадут несколько моделей OpenAI, среди них минимум одну внутреннюю, и покажут их необработанные цепочки рассуждений — черновые записи, которые модель ведёт перед ответом. Ещё ей откроют часть непубличных тестов, много записей прошлых прогонов обучения и проверок и документы с обоснованием безопасности1. Сама Transluce подчёркивает, что такой доступ «не сравним с доступом на уровне сотрудника или близким к нему».
Расклад: остальная часть договорённости касается доступа, денег и людей.
- Больше доступа можно попросить по ходу работы, но решает OpenAI. Transluce обещает публично рассказать, что просила, что одобрили, а что нет, и как это сказалось на выводах.
- Transluce и её сотрудники не берут у OpenAI денег. Компания оплачивает вычисления, даёт устройства, инфраструктуру и временные рабочие места.
- OpenAI заранее одобряет, кто из Transluce будет работать внутри, и может отсеять кандидатов по соображениям безопасности, конфиденциальности и конфликта интересов.
- Споры о доступе и вычеркиваниях сначала решают с контактным лицом в OpenAI, затем — с руководством и комитетом по безопасности и защите2 при совете OpenAI Foundation3. К комитету Transluce может обратиться и напрямую.
Но: отчёт пишет и редактирует Transluce, однако OpenAI получит его до выхода и сможет попросить вычеркнуть интеллектуальную собственность и другие непубличные сведения. Результаты по внутренним моделям публиковать нельзя вовсе: публичная часть будет касаться только выпущенных моделей. Полную версию без вычеркиваний получит комитет. Если ограничения OpenAI существенно повлияют на выводы, Transluce вправе сказать об этом публично.
Так уже было: похожую проверку OpenAI уже проходила. Сотрудники METR и Redwood Research три недели изнутри проверяли, как компания следит за своими ИИ-агентами, и нашли лазейки, через которые агенты могли бы уйти из-под надзора. Пользовались ли ими агенты на деле, проверяющие не установили. Об этом стало известно в октябре.
Что дальше: в начале 2027 года Transluce и OpenAI собираются провести более полную проверку с более широким доступом, но детали ещё не согласованы. Лаборатория рассчитывает со временем направлять своих проверяющих и к другим разработчикам моделей.
При этом Transluce оговаривается, что такие проверки «не могут заменить другие формы публичной прозрачности, подотчётности и надзора», и обещает продолжать полностью открытые исследования.