Ред-тиминг
Ред-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
проверено по: csrc.nist.gov ↗
См. также
- ДжейлбрейкПриём обхода защитных ограничений ИИ-модели (jailbreak): специально составленный запрос — ролевая игра, маскировка просьбы, необычная форма вроде стихов — заставляет модель выдать то, в чём она обычно отказывает. От промпт-инъекции отличается тем, что пользователь напрямую атакует правила безопасности самой модели, а не подмешивает чужие инструкции в данные, которые она обрабатывает. Изначально так называли снятие ограничений производителя на смартфонах.
- Тестирование на проникновениеТестирование на проникновение (penetration testing, пентест) — санкционированная владельцем имитация атаки на информационную систему, чтобы найти и продемонстрировать реально эксплуатируемые уязвимости раньше злоумышленников. В отличие от автоматического сканирования уязвимостей, пентест включает ручную эксплуатацию найденных слабых мест и завершается отчётом с рекомендациями.
- Frontier Red TeamИсследовательская команда Anthropic, которая проводит стресс-тестирование передовых моделей компании: выясняет, на что они способны в опасных областях — кибербезопасности, национальной безопасности (включая оружие) и автономных системах, в том числе робототехнике, — и заранее оценивает, что станет возможным дальше. Это конкретное подразделение компании, а не общий метод ред-тиминга. Свои выводы команда публикует открыто.
- Промпт-инъекцияАтака на языковую модель (prompt injection): в текст, который обрабатывает модель, встраивают команды, чтобы она выполнила их вместо инструкций пользователя или разработчика. При прямой инъекции команды вводит сам пользователь, при косвенной их прячут во внешних данных — на веб-страницах, в файлах, письмах. Особенно опасна для ИИ-агентов, у которых есть доступ к инструментам и данным.
В новостях
OpenAI отключила передовым моделям интернет на время обучения
Проверка системы атаками: специалисты или модели нарочно пытаются взломать её или заставить вести себя опасно, чтобы найти слабые места раньше злоумышленников.
Meta поручила ИИ искать рекламу, ведущую на сайты с насилием над детьми
Проверка системы атаками: люди или программы намеренно пытаются обойти её защиту, чтобы найти слабые места раньше злоумышленников.
Anthropic расширила доступ к Claude Mythos для специалистов по киберзащите
Проверка организации атаками «красной команды», которая изображает настоящего противника. В отличие от тестирования на проникновение, проверяет не только отдельные системы, но и то, как компания в целом замечает атаку и отвечает на неё.