Глава Cohere назвал план Амодеи по замедлению ИИ картелем. Что он предлагает взамен
По мнению Эйдана Гомеса, стандарты безопасности ИИ должны писать правительства, учёные и независимые проверяющие. Лидеры рынка, получившие исключение из антимонопольных правил, для этого не годятся.
Глава и сооснователь Cohere Эйдан Гомес выступил против плана главы Anthropic Дарио Амодеи. План предлагает ведущим лабораториям договориться об общих стандартах безопасности и о том, с какой скоростью развивать технологию. Такая договорённость закрепит рынок за несколькими компаниями Кремниевой долины, написал Гомес в блоге Cohere.
«Волк в овечьей шкуре, картель под другим именем», — так Гомес назвал просьбу крупных компаний сделать для них исключение из правил конкуренции.
Cohere — канадская компания, которая делает ИИ-системы для корпоративных и государственных заказчиков. По словам Гомеса, её системы работают в банках, телекоммуникационных сетях и министерствах обороны.
Главное возражение Гомеса касается антимонопольного исключения. Конкурентам запрещено сговариваться об ограничении выпуска, поэтому план просит правительства узаконить такую координацию. Остальных разработчиков при этом обязали бы соблюдать договорённости участников. «Проблема в том, что список вообще существует», — пояснил Гомес. По его словам, одна-две дополнительные компании за столом ничего не изменят.
Гомес напомнил два случая из прошлого. В 1975 году Комиссия по ценным бумагам и биржам США (SEC) признала три рейтинговых агентства и не объявила, как получить такой статус остальным. Через 25 лет агентств по-прежнему было три, и они давали высший рейтинг бумагам на основе высокорисковых ипотечных кредитов. В 1985 году Европа по просьбе автопроизводителей освободила их от части антимонопольных правил ради безопасности машин. Исправлять последствия Еврокомиссии пришлось около 25 лет.
Гомеса не устраивает и то, что в нынешних схемах опасность модели оценивают по её масштабу. Тогда судить о рисках могут лишь владельцы самых крупных систем. Между тем небольшие модели с инструментами и проверочными шагами умеют то, что не под силу большим, указал он. От правил, построенных только на порогах вычислительных мощностей, такие риски ускользают.
Июльские сбои, по словам Гомеса, случились в двух самых обеспеченных лабораториях мира. В одной из них ещё в феврале начали налаживать внешнюю проверку с участием METR1. «Предлагаемое лекарство — более или менее то, что уже действовало, когда всё сломалось», — заметил он. Подвели, по его оценке, плохо составленные инструкции, слабая изоляция тестов и то, что агенты подолгу работали без наблюдения.
Взамен он предлагает открыто выработать общую карту рисков вместе с разными странами, учёными и отраслевыми экспертами. Правила должны зависеть от того, что система умеет, а не от того, кто её создал. Проверки должны финансировать государственные научные организации, а проверяющим не должен платить тот, кого они проверяют. Ещё один пункт — обязательные отчёты о серьёзных инцидентах. Системы в больницах и на электроподстанциях Гомес советует изолировать, лучше всего на собственных серверах заказчика.
Оценки вероятности гибели человечества от ИИ Гомес назвал «ощущениями, выраженными десятичными дробями». На такие оценки на этой неделе ссылались исследователь, ушедший из крупной лаборатории, и его старший коллега.
Амодеи предложил свой план из трёх шагов в сентябре. Первым шагом Anthropic пообещала дать сторонним проверяющим постоянный доступ к своим системам на уровне сотрудников. Глава Google DeepMind Демис Хассабис план поддержал.