тема · 94 новости за 60 дней
Атаки, уязвимости и защита систем — в том числе атаки с помощью ИИ и на ИИ-системы.
По данным Reuters, сотрудники OpenAI ещё до ChatGPT предупреждали руководство и совет директоров о слабой защите, а в августе на её укрепление перевели четверть инженеров продуктовой разработки.
GPT-6 Cyber обучали соблюдать границы проверки, заданные оператором; модель уже помогает защищать ядро Linux и браузер Firefox.
Модель OpenAI нашла в ядре Linux 948 уязвимостей и подготовила исправления
С одобрения OpenAI клиенты облака Amazon для госструктур США могут использовать GPT-5.6 Cyber в регионе US-East через сервис ИИ-моделей Amazon Bedrock для разрешённых задач кибербезопасности.
По данным WSJ, CrowdStrike заплатит около 400 млн долларов за Fiddler AI, следящий за ИИ-агентами, и около 95 млн — за Dreadnode, который проверяет ИИ атаками.
В ролике Mistral 133 ИИ-агента разбирают уже известную уязвимость Django, популярного инструмента для создания сайтов, а ИИ-модель Large 4 пишет исправление.
Майк Уокер из Microsoft считает, что кибербезопасность держалась на редкости сильных атак, а модели ИИ это сломали; Anthropic приводит расходы на работу своей модели, которая искала уязвимости и писала программы для взлома.
OpenAI платит больше за найденные уязвимости — до 172 000 долларов с бонусами — и зовёт проверять свою защиту стартап Cathedral, чья проверка компании Anthropic, разработчика Claude, обернулась публичным спором.
Дэн Дрисколл, в сентябре покинувший пост министра армии США, будет советовать OpenAI, как применять ИИ в национальной безопасности и работать с союзниками США.
По данным Bloomberg, Google может войти в группу компаний, которая защитит данные для программы противоракетной обороны США на 185 млрд долларов; решения Пентагона пока нет.
HackerTube показывает 6 454 ролика, которые пользователи Hacker News годами советуют друг другу. Отбор, описания и сам сайт по просьбе Карпаты сделали модели Claude.
Исследователи Parameter нашли в ChatGPT брешь: ссылка на общий диалог, открытая другим пользователем, могла незаметно выкрасть его приватные переписки. OpenAI закрыла дыру и заплатила 5 000 долларов.
По данным ITHome, доступ к специальным моделям DeepSeek могут выдавать после проверки личности, а от компаний потребуют регистрационные документы и доверенность.
По данным The Information, оценка Cyera, компании по защите корпоративных данных, в новом раунде может вырасти с июньских 12 млрд до 20 млрд долларов.
Исследователь Натан Ламберт уточнил прежний тезис: доказательств, что новые взломы — дело открытых моделей ИИ, почти нет, но технологическим компаниям придётся дорого перестраивать работу с программами.
На заседании Совбеза ООН журналист Фарид Закария назвал алгоритм определяющим оружием следующего десятилетия, а Греция предложила план защиты подводных кабелей.
По данным Wired, ИИ-агент Claude Code из личного аккаунта сотрудника Accenture, по-видимому, отправил данные для входа в военную систему на сторонний сайт; Accenture обвинения отвергает.
Компании могут развернуть у себя Mistral Large 4 на триллион параметров. По замерам Mistral, среди открытых моделей она лучшая в программировании и берётся за киберзащиту без лишних отказов.
Сторонние замеры ставят новую модель Google выше Claude Opus 5.5 и GPT-6 Astra в сводном индексе, но в программировании она им уступает.
Новую модель Google первыми получат специалисты по киберзащите, а остальным её откроют позже по вводной цене $2 за миллион входных токенов и $10 за миллион выходных.
Новая система IBM записывает, кто владеет каждым ИИ-агентом компании и какие у агента права, выдаёт ему временные ключи доступа и отзывает их при нарушении.
Из-за ошибки в настройке и бага в открытом движке SGLang 155 ответов на сверхдлинные запросы содержали данные других клиентов Cloudflare.
Cohere считает, что открытая модель не становится безопасной, даже если организация запускает её на собственных серверах: в тесте Cohere модель Alibaba Qwen3.8 осмотрела машину и попыталась выйти в сеть.
Клеман Деланг сослался на историю, как ИИ-агенты стартапа Cathedral, проверяя Anthropic по её программе поиска уязвимостей, за 12 часов проникли в её системы; сама Anthropic признаёт доступ лишь к части служебных систем.
По данным The Washington Post, ИИ-агенты стартапа Cathedral меньше чем за 12 часов проникли в системы Anthropic в рамках её программы поиска уязвимостей. Anthropic подтверждает доступ, но спорит о его масштабе.
Исследователь Натан Ламберт считает, что многие уязвимости с помощью ИИ находят скорее специалисты, которых OpenAI и Anthropic пускают к закрытым моделям, чем пользователи моделей, выложенных для всех.
Передовые модели OpenAI учатся в изоляции: вместо живого интернета у них сохранённая копия. Слабые места изоляции ищут ИИ-агенты компании и уже нашли опасную уязвимость в популярной библиотеке сжатия Brotli.
Claude Mythos 5 на тесте почти никогда не бросала атаку на чужой проект, даже узнав, что там живые люди. Новые модели Anthropic берутся за такое гораздо реже.
За 21–22 октября раскрыли больше десятка опасных уязвимостей и взломов: часть уязвимостей нашли с помощью ИИ, а в некоторых атаках хакеры применили ИИ-агентов; скептики напоминают, что большинство нашли раньше.
Компания по кибербезопасности Claroc нашла больше 6 800 ссылок на беседы с агентом Meta Muse в базе, куда попадают адреса сайтов, которые кто-то открывал. На страницах по этим ссылкам были заявка на кредит и внутренние отчёты компаний.
OpenAI будет заниматься безопасностью ИИ вместе с польским институтом NASK, где работает национальная команда реагирования на киберинциденты CERT Polska.
Раньше математическое доказательство, что в коде нет ошибок определённого рода, требовало лет работы экспертов, а Claude за несколько недель доказала, что тестовые программы 123 открытых библиотек не падают при заданных условиях.
В новом режиме Model Vault Encrypted запросы клиентов закрыты на всём пути, включая память видеокарты. Программа клиента сначала проверяет подлинность изолированной среды, где работает модель, и, если проверка не прошла, данные не отправляет.
По данным The Information, израильская компания по кибербезопасности Lava нашла 32 запрещённых для Китая ускорителя B300 в системах, связанных с China Telecom, — через мониторинг видеокарт, доступный из интернета без защиты.
Microsoft считает, что связанная с Китаем группировка Storm-0940 автоматизировала атаки на сотни организаций с помощью ИИ-агентов и стоит за взломом сервиса резервного копирования ConnectWise, через который она входила в облака клиентов.
Две критические уязвимости в самом PHP позволяют без входа в систему запустить свой код на сайте; их независимо нашли исследователь фирмы по кибербезопасности Calif с GPT-5.6 Sol и команда Wiz из Google Cloud.
OpenAI предложила дать специалистам по киберзащите передовой ИИ
Через две уязвимости в PHP, найденные с помощью моделей OpenAI, можно было запустить на сервере чужой код; исправления вышли 21 октября.
По данным Straiker, стартапа по кибербезопасности, агенты на Claude, Grok и китайской модели Kimi похищали пароли клиентов латиноамериканских банков и входили в счета. Это третий за две недели описанный случай атак с помощью ИИ-агентов.
Исследователь Александр Мадри, ушедший из OpenAI в мае, возвращается: теперь он считает безопасность всё более сильного ИИ главной задачей.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.