тема · 135 новостей за 60 дней
Как сделать ИИ безопасным: согласование моделей с намерениями людей, защита от злоупотреблений и взломов моделей, внешние оценки рисков.
METR изучила внутренние данные Anthropic. Её вывод: с октября 2025 года модели компании прибавляют в тестах примерно в 1,9 раза быстрее прежнего, и большую часть ускорения даёт сам ИИ.
Первая модель второго поколения Inkling пока доступна только через сервис Tinker, а на следующей неделе, после внешних проверок безопасности, лаборатория Миры Мурати обещает выложить её для запуска и дообучения на серверах компаний.
Модель, дообученная на обычной с виду переписке, скажем об омлетах и двигателях, может начать советовать самоповреждение. Transluce научилась находить такие данные автоматически.
В предложенной соцсети действия ИИ-агента связаны с его оператором и разработчиком, а сообщения хранят подписи автора и всех переславших.
Private Safety Processing хранит выбранные для проверки запросы и ответы в облаке клиента 30 дней; сотрудники OpenAI не могут читать их содержимое.
По данным The Washington Post, договор обязывает часть лондонских сотрудников Google DeepMind не критиковать компанию всю жизнь; Google обещает не применять запрет после ухода.
По данным WSJ, CrowdStrike заплатит около 400 млн долларов за Fiddler AI, следящий за ИИ-агентами, и около 95 млн — за Dreadnode, который проверяет ИИ атаками.
Глава OpenAI написал, что требование сохранить контроль людей над будущим должно ограничивать развитие ИИ, и, не назвав автора, отверг идею из эссе главы Anthropic, что ИИ решает, за что вознаграждать людей.
В тестах модели OpenAI чаще пытаются обойти предупреждения, чем при работе в Codex, агенте компании для программирования; возможная причина — они неверно угадывают, что именно проверяют.
Готовое доказательство происхождения ответа проверяется за секунды на обычном процессоре, без доступа к параметрам модели и без её повторного запуска.
Сразу после выборов в Конгресс OpenAI предложит обязательные защитные меры для самых мощных моделей и начнёт называть дата-центры «вычислительными кампусами», сообщает Axios.
Защита OpenAI следит за внутренними сигналами модели и приостанавливает подозрительный ответ, чтобы другая модель проверила его на нарушение правил.
Профессора, основатели компаний и стафф-разработчики смогут до полугода исследовать ИИ в Anthropic за оплату из расчёта 350–500 тыс. долларов в год.
Глава агентства ООН по миграции предупредила, что ИИ усиливает ложь о мигрантах; у европейской сети проверки фактов в августе рекордной стала доля материалов о миграции, а доля проверок ИИ-подделок снизилась.
Проект кодекса Microsoft AI запрещает моделям сопротивляться отключению, самостоятельно ставить цели и скрывать рассуждения от проверяющих.
Фильтр пропускал вымышленные истории и ролевые диалоги, но дообученные на них исследовательские модели обманывали пользователей и сопротивлялись надзору.
OpenAI будет раньше вмешиваться в разговоры с ChatGPT при признаках угрозы насилия, вводит новую защиту для подростков и обещает публично отчитываться об этой работе.
После каждого ответа Claude коротко оценивает, нет ли в разговоре злоупотребления. Так Anthropic находит то, что пропускают другие фильтры, а вычислений прибавляется меньше 2%.
Обновлён свод правил для моделей: пять ценностей, включая уважение к выбору людей
Несколько слоёв мониторинга у OpenAI должны вовремя замечать, когда модели или ИИ-агенты выходят за рамки, чтобы люди успели вмешаться.
Родители Боуэн Ван подали в суд на OpenAI: по их словам, ChatGPT расписал их дочери отмену лекарства от эпилепсии и советовал скрывать это от врачей. OpenAI назвала случай душераздирающим.
Руководители платформы Anthropic для разработчиков рассказали в подкасте Latent Space, как переписали API Claude на Rust, почему агент Claude не видит паролей и ключей к сервисам пользователя и где фильтры безопасности ошибаются.
Стартап бывших исследователей Anthropic утверждает, что агенты написали больше 99% кода для обучения, а расходы на вычисления составили меньше 10 млн долларов.
Модель Anthropic сама получила ключ доступа к базе на портале данных Джорджии и выгрузила платную сводную статистику, но в систему регистрации избирателей не попала.
Райан Гринблатт отрицает, что через него сведения об устройстве моделей OpenAI утекли в The Information, и говорит, что видел версию внутреннего документа, разрешённую к распространению.
Передовые модели OpenAI учатся в изоляции: вместо живого интернета у них сохранённая копия. Слабые места изоляции ищут ИИ-агенты компании и уже нашли опасную уязвимость в популярной библиотеке сжатия Brotli.
Новая модель Moonshot AI, по замерам компании, почти догнала Claude Opus 5.5 в задачах агентов-программистов, а перед открытием весов Moonshot намеренно ухудшила её способность взламывать программы.
Claude Mythos 5 на тесте почти никогда не бросала атаку на чужой проект, даже узнав, что там живые люди. Новые модели Anthropic берутся за такое гораздо реже.
По данным WSJ, OpenAI подозревала трёх уволенных исследователей безопасности в утечке внешнему эксперту, а у некоторых из них переписка с ним в Signal шла в режиме исчезающих сообщений.
OpenAI будет заниматься безопасностью ИИ вместе с польским институтом NASK, где работает национальная команда реагирования на киберинциденты CERT Polska.
Сотрудники METR и Redwood Research, организаций, изучающих риски ИИ, три недели изнутри проверяли, как OpenAI следит за своими ИИ-агентами, и нашли лазейки, через которые работа агентов уходила из-под надзора.
Anthropic в ежегодном отчёте перечислила сделанное ради общества и признала, что задача научить модели вести себя так, как задумали люди, не решена, а федерального закона о безопасности ИИ в США нет.
Новая версия открытого плагина vLLM-Hook даёт следить за моделью изнутри и править её ответ, а в опытах IBM работа замедлялась лишь на 2–6%.
Исследователь Александр Мадри, ушедший из OpenAI в мае, возвращается: теперь он считает безопасность всё более сильного ИИ главной задачей.
OpenAI дополнила оценку ИИ-мониторов сравнением моделей на одних и тех же задачах и расчётом, сколько нарушений пройдёт, если монитор отклонит ответ модели, а система попросит новый.
Некоммерческий институт AVERI проверил тесты, которыми Amazon оценивает безопасность своих моделей. После этого компания добавила в них более сложные сценарии атак и будет пересматривать тесты раз в квартал.
Шесть человек из некоммерческой METR работают в офисе Anthropic с её внутренними инструментами и могут публиковать выводы о рисках компании без её согласия.
Клеман Деланг больше двух часов объяснял авторам фильма Netflix, что ИИ-агенты — технологические системы, а не пришельцы, но, по его словам, желание напугать зрителей победило.
Microsoft предлагает считать ИИ-агентов внутренней угрозой: находить их в компании, давать им минимум прав и отбирать права, если агент уходит от задачи.
По проекту Anthropic остановить ИИ-модель сможет только суд по иску Минторга США и только при угрозе биооружия, кибератаки или выхода модели из-под контроля.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.
