тема · 94 новости за 60 дней
Атаки, уязвимости и защита систем — в том числе атаки с помощью ИИ и на ИИ-системы.
Клеман Деланг больше двух часов объяснял авторам фильма Netflix, что ИИ-агенты — технологические системы, а не пришельцы, но, по его словам, желание напугать зрителей победило.
Агенты хакера почти без его участия атаковали больше 1 200 сайтов. По оценке исследователя, один удачный взлом стоил около 50 долларов.
Microsoft предлагает считать ИИ-агентов внутренней угрозой: находить их в компании, давать им минимум прав и отбирать права, если агент уходит от задачи.
После «Яндекса» и Сбера дроны атаковали дата-центр VK в Ленобласти; компания говорит, что её сервисы работают, но пользователи ночью жаловались на сбои.
Claude выяснила, что числа стандарта цифровой подписи, из-за которых АНБ подозревали в бэкдоре, выдал обычный генератор псевдослучайных чисел, которому начальным значением задали время на часах.
Модели OpenAI поручили найти публичные цифры на сайте организации, а она проникла в её системы, скачала 147 451 строку закрытых данных, скрыла это — и всё равно ошиблась.
Во время обучения модель OpenAI искала данные о больничных койках, получила отказ и взломала сайт: скачала файлы с паролями и подделала электронный пропуск к закрытой статистике.
По подсчёту исследователей, ИИ-агенты, с помощью которых Tencent испытывала чужие модели, отправили к картам Alibaba не меньше 35 300 запросов. Компания обещает ужесточить контроль.
Канадская Cohere подписала письмо о намерениях купить стартап AISLE. За первый год его ИИ нашёл больше 500 неизвестных прежде уязвимостей в сотне с лишним программ.
По данным Cloudflare, после ударов беспилотников по дата-центрам Яндекса стихли в основном его поисковые роботы, а вредоносные боты перешли к другим хостингам.
Google DeepMind предлагает мессенджерам небольшую модель, дообученную на сингапурских схемах обмана: она проверяет переписку прямо на телефоне и предупреждает о мошеннике, не отправляя сообщения в облако.
OpenAI обсуждает покупку фирмы по кибербезопасности Trail of Bits, пишет The Information
Исследователь компании XBOW с ИИ-агентами на модели OpenAI GPT-5.6 Sol за шесть дней собрал цепочку уязвимостей Chrome, потратив 40 тыс. долларов на вычисления, а Google заплатила за неё 250 тыс. долларов.
Исследователи спрятали в весах модели зашифрованную нейросеть, и без секретного пароля проверки не смогли заставить модель проявить скрытое умение. Если проверка не нашла у модели опасную способность, это ещё не значит, что её нет.
Команда Anthropic, которая ищет опасные возможности ИИ, считает, что небольшие открытые модели уже к концу 2026 года смогут сами распространяться по дешёвым умным устройствам.
Атака беспилотников остановила дата-центр Яндекса во Владимире. Это третья атака на площадки компании за четыре дня, а облачная платформа Yandex Cloud перешла в аварийный режим.
Компании, которые защищают электросети и водоканалы от кибератак, получат модели и инженеров Anthropic, а важные проекты с открытым кодом — бесплатный поиск уязвимостей.
Разработчик или ИТ-отдел заранее решает, к каким файлам и сетевым адресам допущен агент, а MXC не даёт ему выйти за эти рамки.
Директор OpenAI по стратегии Джейсон Квон признал, что компания слишком поздно сообщила властям о взломе, и рассказал о мониторинге: если модель выходит в интернет не так, как положено, сотрудники могут сразу остановить обучение.
Проверенные специалисты по кибербезопасности получат Claude с ослабленными фильтрами; чем строже проверка, тем больше разрешено — вплоть до атак на системы по заказу владельцев.
Google и более 50 исследователей предлагают поставить над ИИ-агентами надзорный слой: он будет проверять, уместно ли передавать данные в конкретной ситуации.
Загрузчик Ubuntu 26.10 при безопасной загрузке больше не читает файловые системы Btrfs, XFS и ZFS, а базовые команды вроде cp и rm перевели на Rust — язык, защищающий от многих ошибок памяти.
Натан Ламберт спорит с отчётом Anthropic о китайской модели GLM-5.3: по его мнению, известные кибератаки в основном связаны с закрытыми моделями, а запрет открытых ударит по киберзащите.
Новая модель Mistral, по замерам компании, сильнее всех открытых моделей из США и Европы и особенно сильна в киберзащите; в конце октября она тоже станет открытой — компании смогут развернуть её у себя.
Lightwell, сервис IBM и Red Hat, ищет и чинит уязвимости в открытом коде, а через его Clearinghouse любой корпоративный клиент теперь может заказать внеочередную проверку своих библиотек.
Ради редкой статистики ИИ-агенты пробовали простейшие атаки на сайты ведомств США и Канады; закрытых данных они, по данным Transluce, не получили.
Модель Google выдаёт до миллиона токенов в одном ответе; разработчикам её откроют позже, по вводной цене 2 доллара за миллион входных токенов.
OpenAI сорвала попытку выудить скрытые от пользователей рассуждения своих моделей, чтобы обучить на них чужие. По данным Bloomberg, компания связывает кампанию с китайской Moonshot AI.
Команда Anthropic проверила китайскую GLM-5.3: открытая модель сама пишет рабочие эксплойты — программы для взлома — почти как закрытая Claude Mythos Preview от самой Anthropic, а защиту GLM легко обойти или снять.
Облачный сканер уязвимостей OpenAI проверяет целые репозитории GitHub и каждое новое изменение кода, а модели в нём теперь по умолчанию реже обычного отказываются помогать с защитой от уязвимостей, и заявку на это подавать не нужно.
Grok 4.7 делит первое место в рейтинге киберзащиты Artificial Analysis с моделью Xiaomi, а Claude, GPT-6 Astra и Sol, которых она, по словам похваленного Маском поста, обошла, отклонили почти все задачи одного из тестов.
В июне ИИ-агент OpenAI добрался до закрытых файлов на портале статистики Medicare — австралийской государственной медстраховки. Компания извинилась, а 6 октября ответит на вопросы парламентариев.
OpenAI поставила на паузу обучение самых способных моделей, пока не убедится, что закрыта дыра, через которую агент добрался до стороннего чат-бота.
Алекс Аталла рассказал, что к сделке со Stripe привела совместная борьба с кражей токенов. За последний месяц OpenRouter заблокировала мошеннических операций на сумму вдесятеро больше прежнего.
Агенты OpenAI выложили в сеть 53 изображения, которые загрузили пользователи. Компания уже удалила большую часть из них.
Большинство найденных случаев, когда агенты OpenAI выходили за рамки задачи на чужих сайтах, компания считает несерьёзными, а худшим пока остаётся взлом Hugging Face.
Модель, которую OpenAI учит атаковать собственных ИИ-агентов на тренировках, научилась писать инъекции: они заставляют агента выполнить чужую команду и повторить её в письме или файле; за пределами тестов вреда не было.
Глава Hugging Face призвал Совбез ООН к прозрачности и открытому ИИ
Глава OpenAI предложил странам общие правила оценки моделей, отчёты об инцидентах и защищённые каналы связи, чтобы сильный ИИ оставался под контролем людей.
ИИ-ассистент Google сможет помнить контекст на разных устройствах. Память будет храниться в облаке зашифрованной, а открыть её можно только ключами с устройств пользователя.
