Anthropic предлагает Конгрессу свой закон о безопасности ИИ, пишет Politico

Представители Anthropic без огласки показывают конгрессменам проект закона, по которому власти смогут остановить ИИ-модель, только если она грозит ущербом больше 1 млрд долларов либо гибелью или тяжёлыми травмами больше 50 человек, пишет Politico.

Почему это важно: останавливать передовые модели смог бы только суд по иску одного ведомства и только при угрозе одной из трёх катастроф. Пишет эти правила компания, которой они будут касаться.

Повод: Politico получил конфиденциальный текст проекта и 16 октября рассказал о нём со ссылкой на трёх знакомых с делом людей. Каким именно законодателям его показывали, издание не называет.

Представитель Anthropic ответил Politico, что проект воплощает её Advanced AI Framework¹ — предложения, «которые мы с июня продвигаем среди федеральных законодателей и законодателей штатов». Журналу Mother Jones в компании назвали их «разумными мерами, которые Конгрессу стоит принять». Министерство торговли США на запрос Reuters сразу не ответило.

Предыстория: 12 июня министр торговли Говард Лутник потребовал экспортную лицензию для моделей Fable 5 и Mythos 5, и Anthropic пришлось отключить их для всех клиентов. Ограничения сняли 1 июля, а Politico связывает новый проект с этим эпизодом.

Детали: по описанию Politico и Reuters, проект устроен так:

• Угроза должна быть «предвидимой и неминуемой» и исходить от биологического оружия, выхода модели из-под контроля разработчика или кибератаки.
• Лаборатории и их модели регулярно проверяют независимые оценщики, зарегистрированные в Минторге; платить им может сама лаборатория, если оплата не зависит от результата проверки.
• Найдя неминуемый риск из этого перечня, оценщик за 72 часа сообщает о нём в Минторг.
• Остановить модель может только федеральный суд округа Колумбия по иску Минторга, а остальным ведомствам проект прямо запрещает приостанавливать её разработку, выпуск или внутреннее использование.

Пороги в 1 млрд долларов и 50 человек повторяют калифорнийский закон SB 53², который Anthropic поддерживала, отмечает Politico. Ещё проект обязывает разработчиков публиковать отчёты о новых моделях, защищать информаторов и сообщать в Минторг о критических инцидентах.

Расклад: в Конгрессе обсуждают и другие проекты:

• Лидер сенатского большинства Джон Тьюн готовит закон, который обяжет разработчиков сообщать Минторгу о скачках возможностей и позволит властям добиваться в суде запретов против нарушителей.
• В конце июля его обсуждение в сенатском комитете по торговле отложили: Anthropic возражала против постоянного права Минторга на судебные запреты, писал Punchbowl News.
• Демократ Мария Кантуэлл из того же комитета хочет поручить испытания моделей экспертам Минторга и национальных лабораторий.
• В Палате представителей Джей Оберноулт и Лори Трейхан в июне выложили проект, который на три года вытеснил бы законы штатов о разработке ИИ.

Если шире: проект Anthropic тоже вытеснит часть законов Калифорнии, Иллинойса и Нью-Йорка — о раскрытии рисков, независимой оценке и отчётах об инцидентах, пишет Politico. Демократы в Конгрессе выступают против ослабления этих законов. В июне сама Anthropic писала, что Конгресс может вытеснять законы штатов, только приняв закон не слабее её предложений, и лишь в узких вопросах вроде испытаний на катастрофические риски и допуска оценщиков.

Что говорят: Mother Jones назвал порог для вмешательства властей «тревожным»: мошенничество и другой вред за пределами трёх категорий закон не охватит. «Без по-настоящему сильных мер, которые и правда меняют стимулы компаний, я не думаю, что мы справимся с рисками, которые сейчас появляются», — сказала журналу Миранда Боген из Center for Democracy & Technology³.

Проект появился на фоне споров Anthropic с властями. С марта Пентагон считает компанию риском для цепочки поставок, и 26 сентября апелляционный суд поддержал это решение. Федеральная торговая комиссия в начале октября подтвердила, что расследует OpenAI, Anthropic и их внешнего проверяющего METR, а 15 октября потребовала у компаний документы об инцидентах с ИИ-агентами.