Anthropic дала шести проверяющим из METR доступ почти как у сотрудников

Anthropic пустила шестерых сотрудников METR, некоммерческой организации, которая проверяет передовые модели на риски, к своим внутренним системам — почти с тем же доступом, что у собственных команд по оценке рисков.

Почему это важно: METR — пока единственный внешний оценщик, которого Anthropic пустила к себе почти на правах сотрудника. Так проверяющие видят то, что компания не раскрывает публике: по её словам, часть этих сведений пригодилась бы злоумышленникам, а часть составляет коммерческую тайну — например, данные о вычислительных мощностях и обучении.

Предыстория: всё началось в сентябре.

• Глава Anthropic Дарио Амодеи пообещал пустить независимых проверяющих в офисы компании и дать им доступ на уровне внутренних команд.
• Anthropic вместе с другими ИИ-компаниями подписала соглашение Белого дома о сверхинтеллекте и обязалась работать с независимыми аудиторами или оценщиками.
• 18 сентября Anthropic и Accenture¹ объявили, что соберут команду оценщиков внутри Anthropic; каждая компания пообещала вложить не меньше 1 млрд долларов за пять лет в независимую проверку передовых моделей.

Как это работает:

• В офисе оценщикам выдали рабочие места и технику Anthropic, а сотрудников компании просят делиться с ними сведениями, как с коллегами.
• Закрыты лишь несколько чётко очерченных категорий, например данные клиентов, переписка с юристами под адвокатской тайной и сведения об архитектуре моделей.
• METR опубликует собственный анализ рисков, инцидентов и практик Anthropic, и запретить публикацию компания не может.
• Anthropic вправе потребовать вычеркнуть сведения из тех же узких категорий, а METR может публично оценить, оправдано ли это.

Расклад: Anthropic выстраивает для оценщиков три уровня доступа.

• На первом оценщики ведут узкие проверки: доступ им выбирает Anthropic, а выводы выходят только с её одобрения.
• На втором сведений больше и публиковать можно без одобрения, но вычеркнуть отдельные категории сведений компания по-прежнему вправе.
• Третий уровень — нынешняя схема с METR: доступ почти как у сотрудника и те же права на публикацию, что на втором.

Детали: на первом уровне сейчас SecureBio²: после пилотной проверки прошлого отчёта Anthropic о рисках она разбирает в августовском отчёте главу о химическом и биологическом оружии. Партнёрство с Accenture и её подразделением Faculty³, объявленное в сентябре, Anthropic пока только выстраивает: их специалисты будут атаковать модели Anthropic в поисках уязвимостей и проверять её защитные меры. С Hugging Face и несколькими другими организациями идут первые переговоры.

Что говорят: в сентябре, когда Амодеи только предложил схему, автор поста на LessWrong⁴ под ником SE Gyges писал, что в METR около 35 сотрудников и она «не смогла бы ни по-настоящему проверить, ни даже зафиксировать, что делает Anthropic». Anthropic сравнивает свою схему с банковским надзором, где инспекторы регулятора работают внутри крупнейших банков. Тот же автор возражал и против такого сравнения: «От обязательного по закону надзора нельзя просто отказаться».

Другая сторона: Anthropic сама оговаривается, что сравнение с банковским надзором неточное. Одной METR компания ограничиваться не хочет: со временем на третьем уровне должно быть несколько оценщиков, и каждый опубликует собственный анализ её рисков и ключевых решений. От оценщиков Anthropic требует и независимости: у них не должно быть акций проверяемой компании и финансовой зависимости от неё. METR пишет, что не берёт у передовых ИИ-компаний ни платы, ни пожертвований и отказывалась от денег, если компания получила бы влияние на неё.

Если шире: Anthropic подчёркивает, что пускает оценщиков добровольно, и зовёт так же поступать всех разработчиков передовых моделей. Обязательные проверки тоже начались: Федеральная торговая комиссия США, по данным Axios, требует документы об инцидентах с ИИ-агентами у Anthropic и OpenAI, а Еврокомиссия, по данным Euronews, впервые проверяет обе компании по закону об ИИ.