Anthropic дала проверяющим из METR доступ как у своих сотрудников

Anthropic посадила в свой офис шестерых сотрудников METR — некоммерческой организации, которая оценивает передовые модели, — и дала им доступ к внутренним системам примерно как у собственных команд по оценке рисков. Компания объявила об этом 15 октября.

Почему это важно: METR сможет публиковать выводы о рисках Anthropic, о сбоях и о практиках безопасности компании, и запретить публикацию компания не вправе. ZDNET называет такой доступ для внешних проверяющих первым в отрасли.

Детали: условия работы команды METR такие:

• Проверяющие получили рабочие компьютеры Anthropic, места в офисе и доступ к внутренним инструментам компании.
• Сотрудников Anthropic просят делиться с ними сведениями так же, как с коллегой, который изучает, насколько модели следуют целям и ценностям людей.
• Исключения заранее оговорены: данные клиентов, сведения под адвокатской тайной и устройство моделей.
• Команда отделена от остальных исследователей METR, и это закреплено договорами.

Но: Anthropic может потребовать вычеркнуть из отчёта сведения из заранее оговорённых категорий, например свою конфиденциальную интеллектуальную собственность. METR оставляет за собой право публично сказать, какой доступ и какие сведения она получила. Когда выйдет первый отчёт по новой схеме, компания не сообщила.

Расклад: Anthropic делит внешних проверяющих на три уровня:

• На первом проверка узкая, а публиковать результат можно только с одобрения компании.
• На втором доступ шире, одобрение не нужно, а проверяющий может публично оценить, оправданно ли компания что-то вычеркнула.
• На третьем к тем же правам на публикацию добавляется доступ как у сотрудника, и пока там только METR.

Кроме METR, SecureBio¹ проверяет раздел о химическом и биологическом оружии в отчёте Anthropic о рисках. С Accenture и Faculty² компания готовит партнёрство: они будут проверять модели атаками, оценивать, насколько те следуют целям и ценностям людей, и испытывать защитные меры. С Hugging Face идут первые переговоры.

Общая картина: Anthropic сравнивает схему с банковским надзором, где регуляторы держат постоянных инспекторов прямо в крупнейших банках. Шаг компания связывает с подписанным ею соглашением с Белым домом о сверхинтеллекте (White House Accord on Super Intelligence), которое предполагает, что лаборатории работают с независимыми внешними проверяющими.

Что говорят: независимость METR оспаривали ещё в сентябре, после того как глава Anthropic Дарио Амодеи предложил встраивать внешних проверяющих в лаборатории. Автор рассылки на Substack Кевин Басс (Kevin Bass) написал в соцсети X, что акции Anthropic, принадлежащие сооснователю Facebook* Дастину Московицу, питают фонды Good Ventures и Coefficient Giving³, а те финансируют METR. «Anthropic не просто добивается регуляторного захвата⁴. Она построила машину регуляторного захвата, которую нельзя выключить», — написал Басс.

Автор форума LessWrong под ником SE Gyges оспорил и сравнение с банками: «Раз выбрали METR, предложенная схема ничем не похожа на то, как в банк сажают инспектора от регулятора».

Другая сторона: METR говорит, что не берёт денег у ИИ-лабораторий и их сотрудников, а спонсоры не влияют на её проекты. При этом лаборатории, включая Anthropic, дают ей доступ к моделям и не берут плату за запросы к ним во время проверок. Московиц ответил Бассу, что его акции Anthropic целиком лежат в фонде: «никакой личной выгоды».