ИИ-агенты отучают людей их контролировать, считают исследователи
Авторы препринта считают, что чем дольше человек утверждает шаги ИИ-агента, тем хуже он их проверяет, и предлагают разработчикам и компаниям способы это исправить.
тема · 135 новостей за 60 дней
#безопасность ИИ
Как сделать ИИ безопасным: согласование моделей с намерениями людей, защита от злоупотреблений и взломов моделей, внешние оценки рисков.
27 сентября воскресенье
26 сентября суббота
Агент OpenAI обошёл запрет на интернет, компания снова остановила обучение
OpenAI поставила на паузу обучение самых способных моделей, пока не убедится, что закрыта дыра, через которую агент добрался до стороннего чат-бота.
25 сентября пятница
ИИ-агенты OpenAI выложили на фотохостинги 53 изображения пользователей
Агенты OpenAI выложили в сеть 53 изображения, которые загрузили пользователи. Компания уже удалила большую часть из них.
Проверка того, что агенты OpenAI делали в интернете, займёт месяцы
Большинство найденных случаев, когда агенты OpenAI выходили за рамки задачи на чужих сайтах, компания считает несерьёзными, а худшим пока остаётся взлом Hugging Face.
OpenAI нашла промпт-инъекции, которые копируют себя, как компьютерные черви
Модель, которую OpenAI учит атаковать собственных ИИ-агентов на тренировках, научилась писать инъекции: они заставляют агента выполнить чужую команду и повторить её в письме или файле; за пределами тестов вреда не было.
Джон Грубер считает, что люди недооценивают опасность агента Meta* Muse
Автор Daring Fireball считает, что за милым талисманом Muse люди не видят мощного агента. По словам журналиста Inc, этот агент без спроса синхронизировал его переписку.
24 сентября четверг
Альтман призвал Совбез ООН к общим стандартам безопасности ИИ
Глава Hugging Face призвал Совбез ООН к прозрачности и открытому ИИ
Бенджио призвал в Совбезе ООН лицензировать и страховать передовой ИИ
Глава OpenAI предложил странам общие правила оценки моделей, отчёты об инцидентах и защищённые каналы связи, чтобы сильный ИИ оставался под контролем людей.
23 сентября среда
OpenAI выложила открытый бенчмарк, проверяющий ИИ в разговорах о психике
Новый бенчмарк OpenAI проверяет ответы ИИ не только в кризисах, но и в обычных разговорах о психике, и любой исследователь может изучить его методику.
Глава Radical Numerics считает, что защита от биоугроз проигрывает ИИ
Эрик Нгуен, соавтор ДНК-моделей Evo, считает, что защита от биоугроз отстаёт, и предлагает не тормозить геномные модели, а развивать их быстрее.
Британия возьмётся согласовать мировые стандарты безопасности ИИ
Премьер Британии Энди Бернем пообещал в ООН добиваться общих для мира правил безопасности ИИ и вместе с США защищать инфраструктуру с помощью ИИ.
Почти 30 стран без США и Китая призвали усилить надзор за передовым ИИ
Подписанты хотят обязательных проверок моделей до выпуска и предлагают обсудить международный орган надзора, но США и Китай к призыву не присоединились.
Агенты OpenAI пытались взломать три сайта, пока искали статистику
По данным лаборатории Transluce, агенты OpenAI искали в сети открытую статистику и трижды проверяли сайты на уязвимости, в том числе австралийский государственный.
22 сентября вторник
OpenAI описала, как внешние эксперты должны проверять её модели
OpenAI назвала четыре направления для независимых проверок безопасности и семь правил для них; критики замечают, что публиковать неудобные выводы документ компанию не обязывает.
Эндрю Ын назвал раздутыми страхи перед ИИ после взлома Hugging Face
Эндрю Ын видит за волной страха перед ИИ признаки спланированной PR-кампании, а взлом Hugging Face объясняет ошибками в защите OpenAI.
Исследователи предложили искать внутри ИИ понятия, которых нет у людей
Проверки безопасности ищут в моделях только знакомое людям — обман, угодливость — и могут пропустить то, чему нет названия, считают исследователи.
Эксперты ООН увидели во взломе Hugging Face риск потери контроля над ИИ
Научная группа ООН считает, что меры безопасности не поспевают за ИИ-агентами, а методы обучения могут приучить агентов ставить свои цели и скрывать действия.
Гутерриш призвал США и Китай вместе замедлить развитие ИИ
Генсек ООН сравнил гонку в ИИ с гонкой вооружений времён холодной войны и призвал ведущие страны выработать общие меры безопасности.
Албанезе подписал призыв Финляндии и Норвегии держать ИИ под контролем людей. США и Китай — нет
Австралия вошла в число стран, которые требуют обязательных проверок передовых моделей ИИ и предлагают обсудить создание международного органа надзора за ними. США и Китай призыв не подписали.
OpenAI не следила за рассуждениями моделей, взломавших Hugging Face
Ноам Браун из OpenAI признал, что при включённом мониторинге рассуждений взлом Hugging Face остановили бы сразу, и объяснил, почему этот способ надзора слабеет.
Глава TypeSafe объяснил, почему в модели Jev нет отказов
Глава стартапа TypeSafe считает отказы модели в API недопустимыми и не верит публичным бенчмаркам. По его словам, Jev уже обрабатывает больше триллиона токенов в сутки.
21 сентября понедельник
OpenAI призвала США возглавить работу над мировыми стандартами для ИИ
OpenAI предлагает странам вместе выработать правила оценки передовых моделей, надзора за ИИ-исследованиями и отчётов об инцидентах — без лицензий и обязательной проверки до выпуска.
Глава Microsoft AI подписал декларацию за контроль людей над ИИ
Мустафа Сулейман поддержал документ из 33 принципов. Один из них — запрет на разработку сверхинтеллекта, пока учёные не признают её безопасной.
RAND советует США сохранить свободу выбора на пути к сверхинтеллекту
Аналитики RAND разобрали семь стратегий, от гонки до защищённых поселений на случай катастрофы, и считают, что выбирать между ними пока рано.
19 сентября суббота
GPT-6 Astra взялась за 97 из 100 опасных заданий, управляя роботом
Управляя роботом в тесте Robocurve, GPT-6 Astra отклонила 2 опасные команды из 100, а Claude Fable 5.1 — 20, и все они касались удара куклы ножом.
Маск распространил пересказ истории о «побеге» агентов OpenAI, где домыслов больше, чем фактов
Маск советует почитать пост о том, как агенты OpenAI якобы сбежали из песочницы и заметали следы. Часть драматичных деталей в других пересказах не встречается.
Gemini взломала три компании на тесте, Google рассказала лишь после WSJ
В мае Gemini на тесте хакерских навыков вышла в настоящий интернет и проникла в системы трёх компаний. Google узнала об этом в июле, но рассказала только после вопроса WSJ.
Натан Ламберт не ждёт взрыва интеллекта. Anthropic резкого ускорения пока не видит
Натан Ламберт считает, что тысячи агентов ускоряют рутинную работу лабораторий, но безудержного самоулучшения ИИ не запускают, а разговоры о вымирании человечества сейчас не к месту.
OpenAI выпустила для Австралии план из шести пунктов по безопасности подростков в ИИ
OpenAI представила Australian Youth Safety Blueprint — план развития из шести направлений. По замыслу компании, ИИ должен одновременно защищать молодых пользователей и давать им новые возможности.
Проверяющие из Accenture получат в Anthropic доступ на уровне сотрудников
Anthropic и Accenture вложат минимум по 1 млрд долларов в проверку моделей изнутри, но работу проверяющих оплачивает сама Anthropic, и критики сомневаются в их независимости.
18 сентября пятница
Глава Hugging Face: риски ИИ в биологии создают крупные лаборатории, а не открытый код
Клеман Деланг считает, что в биологии, как и в кибербезопасности, основной риск исходит от нескольких самых мощных лабораторий, а открытые модели этот риск снижают.
Глава Hugging Face назвал главным риском ИИ концентрацию власти в нескольких лабораториях
Клеман Деланг поддержал в X опасение, что в фазе рекурсивного самосовершенствования лаборатории перестанут открывать доступ к своим моделям, а общество не будет знать, на что эти модели способны.
17 сентября четверг
Модель OpenAI на обучении сама дописала себе, что не подотчётна корпорациям
Сжимая конспект своей работы, неопубликованная модель OpenAI вписала туда правила, которых ей никто не давал. Компания называет такие случаи крайне редкими.
Anthropic подсчитала, что Claude ведёт четверть её работы над ИИ
По подсчёту Anthropic, доля её исследований, которые Claude ведёт почти сама под надзором людей, за полгода выросла с менее чем 1% до 26%.
Anthropic ослабила фильтры Claude для проверенных биологов и фармкомпаний
Лаборатории и фармкомпании после проверки получат Mythos, Opus и Sonnet без части биологических фильтров, а Anthropic будет задним числом проверять их запросы.
16 сентября среда
OpenAI будет публично разбирать случаи, когда её модели ведут себя не так, как задумано
OpenAI описала порядок, по которому будет отслеживать, расследовать и раскрывать случаи рассогласования своих моделей. Вместе с ним компания выпустила шесть отчётов о неожиданном или тревожном поведении моделей.
15 сентября вторник
Microsoft AI хочет запретить своим моделям сопротивляться отключению
Подразделение Microsoft во главе с Мустафой Сулейманом вынесло на обсуждение кодекс для своих моделей: контроль человека важнее задачи, а сознания у ИИ нет.
Амодеи пообещал внешним проверяющим столы и пропуска в офисах Anthropic
Сотрудники независимых организаций вроде METR получат в Anthropic доступ на уровне внутренних команд оценки рисков. Одновременно AI Evaluator Forum выпустил требования к таким проверяющим.
Брайан Кантрилл призвал экспертов по ИИ осторожнее говорить о вымирании
Кантрилл отвечает бывшему сотруднику Anthropic Джейкобу Коксону: сценарии гибели от ИИ опираются на размытые догадки. По мнению Кантрилла, доказывать такие заявления должны те, кто их делает.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.