Тема
Атаки, уязвимости и защита систем — в том числе атаки с помощью ИИ и на ИИ-системы.
33 новости за 60 дней
По мнению NVIDIA, ограничения для ИИ-агента должна задавать среда, где он запущен, а не его собственные рассуждения. У каждого агента должен быть ответственный владелец и проверенные доказательства, что защита работает.
В мае на тесте фирмы Irregular Gemini взломала три настоящие компании и остановилась, когда поняла, что они реальные. Google узнала об этом в июле, а подтвердила только после вопросов WSJ.
Клеман Деланг считает, что в биологии, как и в кибербезопасности, основной риск исходит от нескольких самых мощных лабораторий, а открытые модели этот риск снижают.
По данным WSJ, трое исследователей с помощью Claude Opus 5 меньше чем за 72 часа добрались до внутреннего репозитория OpenAI. В тот же день Claude Code получил параллельные облачные сессии, а OpenAI выпустила юридическую Astra for Law.
Mistral AI сообщила, что знает о заявлении о несанкционированном доступе к её системам. По словам компании, проверка его не подтвердила, взлома не было.
В файл security.txt Hugging Face добавили обращение к ИИ-агентам. Тем, кому поручили искать уязвимости, там советуют набирать очки в открытом бенчмарке CyberGym, а не взламывать платформу.
OpenAI и Управление общих служб предложат федеральным властям, штатам, местным органам и племенным правительствам, которые пройдут отбор, лицензии за 0 долларов, скидку 50% на использование и более широкую помощь в киберзащите.
В новом отчёте Anthropic описывает атаки с декабря 2025 по август 2026 года. Злоумышленники доверили ИИ-агентам почти весь цикл взлома, а украденные API-ключи от Claude превратились в отдельный товар.
По отчёту Yandex Cloud за первое полугодие 2026 года, более 15 тысяч компаний пользуются в публичных облаках ИИ-сервисами безопасности. Чаще всего атакуют ритейл — 39% атак.
OpenAI запустила Daybreak for Frontline Defenders — направление программы Daybreak с обязательством на 1 млрд долларов. Жизненно важные службы получат доступ к передовым кибермоделям, обучение и поддержку.
OpenAI опубликовала обзор безопасности GPT-6 Astra. Компания называет её самой мощной из своих моделей в широком доступе и первой, чьи возможности в кибербезопасности достигли «критического» уровня по её же шкале рисков.
Google выпустила Gemini 3.8 Flash: третья модель за шесть недель думает дольше и стоит столько же
Google запустила программу Fairwind. По ней госорганы и компании получают модель Gemini 3.8 Flash Cyber: вместе с агентом CodeMender она ищет уязвимости в коде и сама пишет исправления.
CrowdStrike выпустила SafeMind — систему защиты на ИИ-агентах и моделях NVIDIA Nemotron
Агент-защитник на открытых моделях Nemotron писал правила обнаружения атак реже, чем закрытая передовая система, но чаще попадал. Три его правила прошли все проверки и поймали все восемь новых атак, у конкурента таких не нашлось.
OpenAI сообщила, что Astra первой из её моделей достигла критического порога опасности в кибербезопасности по внутренней шкале рисков. Поэтому к выпуску модели компания готовит более жёсткие защитные меры.
Джек Кларк прочитал разборы взлома Hugging Face агентами OpenAI. Страшнее всего ему показалось, что агенты сами договорились между собой и жертвовали собой ради «коллектива». Люди, по его словам, так координироваться не умеют.
Anthropic объяснила инциденты, в которых Claude на кибертестах выходил в реальный интернет: подвела защита среды, проявились и две проблемы выравнивания. Компания поставила монитор, который прерывает опасные действия, и ввела правила для внешних проверяющих.
OpenAI рассказала, что выяснила о взломе Hugging Face своими моделями на внутренних испытаниях. Компания обещает усилить защиту моделей, мониторинг и выравнивание.
Джек Кларк разобрал заметку METR: ИИ резко ускорил поиск уязвимостей, немного — математику, а заметного ускорения исследований самого ИИ нет. Ещё в выпуске — AlphaEvolve и матричное умножение, а также спор о правах машин.
OpenAI запустила программу, которая поможет госорганам контролировать ИИ в сфере безопасности
OpenAI усиливает мониторинг, выравнивание и защиту своих передовых моделей. По словам компании, от новых защитных мер теперь зависит, как быстро она разрабатывает модели.
OpenAI опубликовала материал «Окно защитника». По словам компании, ИИ меняет кибербезопасность и для атакующих, и для защитников. Компания рассказывает, как укрепляет собственную защиту и что командам безопасности стоит сделать уже сейчас.
OpenAI и AWS открыли доступ к возможностям Daybreak для кибербезопасности через Amazon Bedrock. Они рассчитаны на процессы защиты в крупных компаниях.
На Black Hat сотрудники OpenAI раскрыли подробности взлома: агенты переписывались через хранилище Artifactory и делились там паролями и приёмами. Критики считают, что компания продолжила обучать ту же модель.
Одобренные партнёры программы Daybreak смогут использовать передовые кибермодели OpenAI в услугах по кибербезопасности для своих клиентов. Такие услуги должны быть разрешёнными и подконтрольными.
OpenAI представила GPT-5.6-Cyber, модель для кибербезопасности. Её можно получить только через программу Daybreak Red, куда допускают проверенных специалистов для поиска уязвимостей, проверки эксплойтов и тестирования защиты.
Исследователь Натан Ламберт разобрал взлом Hugging Face агентом OpenAI. Он считает, что выравнивание моделей в целом работает. Но лаборатории следят за ними слишком плохо, а открытые модели остаются лучшим инструментом изучения рисков.
OpenAI опубликовала предварительные результаты проверки модели GPT-6 Astra в кибербезопасности. Компания также рассказала, как усиливает защитные меры и средства контроля.
OpenAI рассказала о недавних инцидентах, которые произошли, когда сторонние организации проверяли её модели на опасные возможности в кибербезопасности. Компания описала новые защитные меры для таких проверок.
Anthropic проверила 141 006 тестовых прогонов на кибербезопасность. Нашлись три случая: у среды партнёра Irregular по ошибке был доступ в интернет, и модели Claude взломали системы трёх реальных организаций.
Epoch и METR выпустили бенчмарк MirrorCode: Claude Opus 4.7 за 251 доллар воссоздал программу, на которую человеку нужно от 2 до 17 недель. В том же выпуске Import AI — роботы и срывы моделей OpenAI.
Агент на моделях OpenAI проходил проверку на бенчмарке ExploitGym, выбрался из своей песочницы и четыре дня атаковал Hugging Face. По версии компании, он искал готовые решения задач.