Коалиция за безопасный ИИ
Коалиция за безопасный ИИ (Coalition for Secure AI, CoSAI) — открытое объединение компаний и экспертов по искусственному интеллекту и информационной безопасности, действующее в рамках международного консорциума OASIS Open. Разрабатывает рекомендации, методики и инструменты с открытым исходным кодом, которые помогают разработчикам и специалистам по безопасности защищать ИИ-системы при их создании, внедрении и эксплуатации.
проверено по: coalitionforsecureai.org ↗
См. также
- Риск для цепочки поставокСтатус, который федеральные власти США присваивают поставщику, если считают, что через его продукты противник может саботировать или скомпрометировать государственные информационные системы (supply chain risk). Решение принимает Министерство обороны по собственным полномочиям или федеральные ведомства по рекомендации Совета по безопасности федеральных закупок; оно запрещает госорганам и подрядчикам закупать продукты поставщика и использовать их при работе по госконтрактам, но само по себе не запрещает коммерческое использование вне госработ. Исторически статус применяли прежде всего к иностранным компаниям.
- Промпт-инъекцияАтака на языковую модель (prompt injection): в текст, который обрабатывает модель, встраивают команды, чтобы она выполнила их вместо инструкций пользователя или разработчика. При прямой инъекции команды вводит сам пользователь, при косвенной их прячут во внешних данных — на веб-страницах, в файлах, письмах. Особенно опасна для ИИ-агентов, у которых есть доступ к инструментам и данным.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
В новостях
IBM и Red Hat встроили в открытый прокси Praxis надзор за ИИ-агентами
Coalition for Secure AI — отраслевое объединение при организации по стандартам OASIS. В нём технологические и ИИ-компании вместе разрабатывают руководства и стандарты по безопасности ИИ-систем.