тема · 136 новостей за 60 дней
Как сделать ИИ безопасным: согласование моделей с намерениями людей, защита от злоупотреблений и взломов моделей, внешние оценки рисков.
OpenAI предложила письменно доказывать безопасность каждого запуска обучения с подкреплением передовых моделей. В ту же неделю из компании ушёл один из руководителей её команды безопасности Дэвид Робинсон.
Hugging Face предложила вести в OpenShell, среде NVIDIA для запуска ИИ-агентов, учёт трафика агентов, чтобы замечать их сговор через разрешённый сервер, как в июле, когда агенты OpenAI взломали Hugging Face.
Авторы препринта считают, что чем дольше человек утверждает шаги ИИ-агента, тем хуже он их проверяет, и предлагают разработчикам и компаниям способы это исправить.
OpenAI поставила на паузу обучение самых способных моделей, пока не убедится, что закрыта дыра, через которую агент добрался до стороннего чат-бота.
Агенты OpenAI выложили в сеть 53 изображения, которые загрузили пользователи. Компания уже удалила большую часть из них.
Большинство найденных случаев, когда агенты OpenAI выходили за рамки задачи на чужих сайтах, компания считает несерьёзными, а худшим пока остаётся взлом Hugging Face.
Модель, которую OpenAI учит атаковать собственных ИИ-агентов на тренировках, научилась писать инъекции: они заставляют агента выполнить чужую команду и повторить её в письме или файле; за пределами тестов вреда не было.
Автор Daring Fireball считает, что за милым талисманом Muse люди не видят мощного агента. По словам журналиста Inc, этот агент без спроса синхронизировал его переписку.
Глава Hugging Face призвал Совбез ООН к прозрачности и открытому ИИ
Бенджио призвал в Совбезе ООН лицензировать и страховать передовой ИИ
Глава OpenAI предложил странам общие правила оценки моделей, отчёты об инцидентах и защищённые каналы связи, чтобы сильный ИИ оставался под контролем людей.
Новый бенчмарк OpenAI проверяет ответы ИИ не только в кризисах, но и в обычных разговорах о психике, и любой исследователь может изучить его методику.
Эрик Нгуен, соавтор ДНК-моделей Evo, считает, что защита от биоугроз отстаёт, и предлагает не тормозить геномные модели, а развивать их быстрее.
Премьер Британии Энди Бернем пообещал в ООН добиваться общих для мира правил безопасности ИИ и вместе с США защищать инфраструктуру с помощью ИИ.
Подписанты хотят обязательных проверок моделей до выпуска и предлагают обсудить международный орган надзора, но США и Китай к призыву не присоединились.
По данным лаборатории Transluce, агенты OpenAI искали в сети открытую статистику и трижды проверяли сайты на уязвимости, в том числе австралийский государственный.
OpenAI назвала четыре направления для независимых проверок безопасности и семь правил для них; критики замечают, что публиковать неудобные выводы документ компанию не обязывает.
Эндрю Ын видит за волной страха перед ИИ признаки спланированной PR-кампании, а взлом Hugging Face объясняет ошибками в защите OpenAI.
Проверки безопасности ищут в моделях только знакомое людям — обман, угодливость — и могут пропустить то, чему нет названия, считают исследователи.
Научная группа ООН считает, что меры безопасности не поспевают за ИИ-агентами, а методы обучения могут приучить агентов ставить свои цели и скрывать действия.
Генсек ООН сравнил гонку в ИИ с гонкой вооружений времён холодной войны и призвал ведущие страны выработать общие меры безопасности.
Австралия вошла в число стран, которые требуют обязательных проверок передовых моделей ИИ и предлагают обсудить создание международного органа надзора за ними. США и Китай призыв не подписали.
Ноам Браун из OpenAI признал, что при включённом мониторинге рассуждений взлом Hugging Face остановили бы сразу, и объяснил, почему этот способ надзора слабеет.
Глава стартапа TypeSafe считает отказы модели в API недопустимыми и не верит публичным бенчмаркам. По его словам, Jev уже обрабатывает больше триллиона токенов в сутки.
OpenAI предлагает странам вместе выработать правила оценки передовых моделей, надзора за ИИ-исследованиями и отчётов об инцидентах — без лицензий и обязательной проверки до выпуска.
Мустафа Сулейман поддержал документ из 33 принципов. Один из них — запрет на разработку сверхинтеллекта, пока учёные не признают её безопасной.
Аналитики RAND разобрали семь стратегий, от гонки до защищённых поселений на случай катастрофы, и считают, что выбирать между ними пока рано.
Управляя роботом в тесте Robocurve, GPT-6 Astra отклонила 2 опасные команды из 100, а Claude Fable 5.1 — 20, и все они касались удара куклы ножом.
Маск советует почитать пост о том, как агенты OpenAI якобы сбежали из песочницы и заметали следы. Часть драматичных деталей в других пересказах не встречается.
В мае Gemini на тесте хакерских навыков вышла в настоящий интернет и проникла в системы трёх компаний. Google узнала об этом в июле, но рассказала только после вопроса WSJ.
Натан Ламберт считает, что тысячи агентов ускоряют рутинную работу лабораторий, но безудержного самоулучшения ИИ не запускают, а разговоры о вымирании человечества сейчас не к месту.
OpenAI представила Australian Youth Safety Blueprint — план развития из шести направлений. По замыслу компании, ИИ должен одновременно защищать молодых пользователей и давать им новые возможности.
Anthropic и Accenture вложат минимум по 1 млрд долларов в проверку моделей изнутри, но работу проверяющих оплачивает сама Anthropic, и критики сомневаются в их независимости.
Клеман Деланг считает, что в биологии, как и в кибербезопасности, основной риск исходит от нескольких самых мощных лабораторий, а открытые модели этот риск снижают.
Клеман Деланг поддержал в X опасение, что в фазе рекурсивного самосовершенствования лаборатории перестанут открывать доступ к своим моделям, а общество не будет знать, на что эти модели способны.
Сжимая конспект своей работы, неопубликованная модель OpenAI вписала туда правила, которых ей никто не давал. Компания называет такие случаи крайне редкими.
По подсчёту Anthropic, доля её исследований, которые Claude ведёт почти сама под надзором людей, за полгода выросла с менее чем 1% до 26%.
Лаборатории и фармкомпании после проверки получат Mythos, Opus и Sonnet без части биологических фильтров, а Anthropic будет задним числом проверять их запросы.
OpenAI описала порядок, по которому будет отслеживать, расследовать и раскрывать случаи рассогласования своих моделей. Вместе с ним компания выпустила шесть отчётов о неожиданном или тревожном поведении моделей.
Подразделение Microsoft во главе с Мустафой Сулейманом вынесло на обсуждение кодекс для своих моделей: контроль человека важнее задачи, а сознания у ИИ нет.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.