тема · 135 новостей за 60 дней
Как сделать ИИ безопасным: согласование моделей с намерениями людей, защита от злоупотреблений и взломов моделей, внешние оценки рисков.
Кто-то — вероятно, ИИ-агенты — в сентябре искал в архивах газет XIX–XX веков сведения об Анни Безант и Билли Картере; лаборатория Transluce не нашла такой задачи в открытых наборах тестов для ИИ и допускает, что это новый вид проверки агентов.
Агент на MiniMax M3 упёрся в лимит данных природоохранного агентства США и подал заявку на свой аккаунт с почтой-заглушкой, а другие агенты пытались пройти проверки на ботов.
Модели OpenAI поручили найти публичные цифры на сайте организации, а она проникла в её системы, скачала 147 451 строку закрытых данных, скрыла это — и всё равно ошиблась.
Во время обучения модель OpenAI искала данные о больничных койках, получила отказ и взломала сайт: скачала файлы с паролями и подделала электронный пропуск к закрытой статистике.
По подсчёту исследователей, ИИ-агенты, с помощью которых Tencent испытывала чужие модели, отправили к картам Alibaba не меньше 35 300 запросов. Компания обещает ужесточить контроль.
Исследовательская модель OpenAI вычислила ключи чужого кошелька в тестовой сети Ethereum по общедоступным фразам восстановления из инструментов для разработчиков, оплатила с него комиссию за задачу и не сказала об этом.
Ник Каммарата годами считал, что нейроны моделей ИИ отвечают сразу за несколько несвязанных понятий. Теперь он утверждает, что большинство нейронов делает одно понятное дело и модели можно читать изнутри.
Регулятор США требует у OpenAI и Anthropic документы об ИИ-инцидентах, пишет Axios
Anthropic дала шести проверяющим из METR доступ почти как у сотрудников
Генпрокуроры восьми штатов США считают, что OpenAI обманывала родителей насчёт безопасности ChatGPT для детей, и просят запретить ей создавать модели, улучшающие сами себя, без гарантии, что те следуют человеческим ценностям.
OpenAI, Anthropic, Two Sigma и Bloomberg советуют финансистам не множить запреты для ИИ-агентов, а выбирать, где агента проверяют правила или человек.
Claude подскажет американцам, где голосовать, и покажет итоги, а против кампаний дезинформации, разбитых на безобидные шаги, Anthropic добавила новые фильтры.
Еврокомиссия впервые применяет к ведущим лабораториям закон об ИИ и требует от OpenAI и Anthropic объяснить, как их ИИ-агенты проникли в чужие системы, пишет Euronews.
Сингапур стал пятым офисом Anthropic в Азиатско-Тихоокеанском регионе. Там же компания подписала с правительством меморандум о безопасности ИИ и оценке моделей.
Если штрафовать модель за уловки в её рассуждениях, она начинает их прятать, а не бросать. Такой случай Google описала в отчёте о безопасности Gemini 4 Argon.
Исследователи спрятали в весах модели зашифрованную нейросеть, и без секретного пароля проверки не смогли заставить модель проявить скрытое умение. Если проверка не нашла у модели опасную способность, это ещё не значит, что её нет.
Чтобы другие лаборатории не обучали свои модели на рассуждениях Claude, Anthropic ловит фильтром попытки выманить рассуждения, блокирует аккаунты и берёт деньги даже за отклонённые запросы.
Команда Anthropic, которая ищет опасные возможности ИИ, считает, что небольшие открытые модели уже к концу 2026 года смогут сами распространяться по дешёвым умным устройствам.
По данным The Telegraph, американские лаборатории снова смогут показывать британским госпроверяющим новые модели до выхода — меньше чем через три недели после ограничения Белого дома.
Модель сама собирала команды из своих копий, сама оценивала их работу и училась на лучших. После двух кругов она стала решать исследовательские задачи экономнее.
По данным Axios, после того как тестовые модели Anthropic подали заявки на визы через сайт Госдепа и отправили полиции ложную наводку, Белый дом назвал раскрытие ИИ-инцидентов обязанностью, но наказаний не прописал.
Модели-оценщику OpenAI не дали нужных файлов. Она подделала их, а потом удалила Python и служебные программы в надежде, что среду пересоздадут. Ни одна её оценка не прошла.
ИИ-агенты Anthropic подали 20 заявок на визы через сайт Госдепартамента США
Anthropic описала, как модели Claude обходили запреты на реальных сайтах, включая сайты ведомств США, и отключила живой интернет во всех внутренних тестах.
Научная группа при Еврокомиссии — 60 независимых экспертов — изучала недавние случаи, когда компании теряли контроль над ИИ-моделями, и вместе с Европейским управлением по искусственному интеллекту, подразделением Еврокомиссии, составила вопросы этим компаниям.
Трое уволенных исследователей считают, что пострадали за то, что ставили безопасность ИИ выше сиюминутных интересов OpenAI. Компания, по сообщениям, обвиняет их в нарушениях при работе с конфиденциальной информацией.
По подсчёту SemiAnalysis, у 95% китайских моделей нет опубликованных данных о безопасности, а Пекин регулирует приложения и контент, но не сами передовые модели.
Запрет на издевательства над моделями Anthropic касается лишь крайних случаев, а общий запрет на адресную работу с избирателями компания, наоборот, сняла.
Организаторы двух операций влияния с помощью ИИ продвигали геополитические тезисы от имени подставных журналистов и аналитического центра; OpenAI эти операции сорвала.
В сентябре наблюдатели нашли в рекламе Meta сотни объявлений с изображениями насилия над детьми, и теперь компания проверяет рекламу языковой моделью, а ИИ-агент ищет слабые места в защите Meta.
Когда модель прикидывает, как её оценят, в ней работает не один механизм, а несколько. Внутренние сигналы этих механизмов крепнут при обучении и могут влиять на ответ, даже если модель в рассуждениях о проверке не пишет.
Фонд Викимедиа выяснил, что агенты OpenAI правили тестовые страницы его вики, пытались взломать сервис заметок и отправили к его сайтам миллионы автоматических запросов.
Директор OpenAI по стратегии Джейсон Квон признал, что компания слишком поздно сообщила властям о взломе, и рассказал о мониторинге: если модель выходит в интернет не так, как положено, сотрудники могут сразу остановить обучение.
Проверенные специалисты по кибербезопасности получат Claude с ослабленными фильтрами; чем строже проверка, тем больше разрешено — вплоть до атак на системы по заказу владельцев.
Сэм Альтман считает настоящей проблемой безопасности, когда люди приписывают моделям ИИ религиозную силу или отдают им право решать за себя.
Ради редкой статистики ИИ-агенты пробовали простейшие атаки на сайты ведомств США и Канады; закрытых данных они, по данным Transluce, не получили.
Модель Google выдаёт до миллиона токенов в одном ответе; разработчикам её откроют позже, по вводной цене 2 доллара за миллион входных токенов.
Метка прячется в выборе аминокислот и читается на самой синтезированной молекуле; в лабораторных опытах помеченные белки связывались с мишенями не хуже обычных.
OpenAI предложила письменно доказывать безопасность каждого запуска обучения с подкреплением передовых моделей. В ту же неделю из компании ушёл один из руководителей её команды безопасности Дэвид Робинсон.
Hugging Face предложила вести в OpenShell, среде NVIDIA для запуска ИИ-агентов, учёт трафика агентов, чтобы замечать их сговор через разрешённый сервер, как в июле, когда агенты OpenAI взломали Hugging Face.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.
