Lakera
Lakera — компания, специализирующаяся на безопасности генеративного ИИ и входящая в Check Point. Разрабатывает инструменты, которые помогают разработчикам и службам безопасности находить уязвимости в ИИ-приложениях и агентах, защищать их от промпт-инъекций и предотвращать утечки данных.
проверено по: lakera.ai ↗
См. также
- Промпт-инъекцияАтака на языковую модель (prompt injection): в текст, который обрабатывает модель, встраивают команды, чтобы она выполнила их вместо инструкций пользователя или разработчика. При прямой инъекции команды вводит сам пользователь, при косвенной их прячут во внешних данных — на веб-страницах, в файлах, письмах. Особенно опасна для ИИ-агентов, у которых есть доступ к инструментам и данным.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
- ДжейлбрейкПриём обхода защитных ограничений ИИ-модели (jailbreak): специально составленный запрос — ролевая игра, маскировка просьбы, необычная форма вроде стихов — заставляет модель выдать то, в чём она обычно отказывает. От промпт-инъекции отличается тем, что пользователь напрямую атакует правила безопасности самой модели, а не подмешивает чужие инструкции в данные, которые она обрабатывает. Изначально так называли снятие ограничений производителя на смартфонах.
- Классификатор безопасностиОтдельная, обычно небольшая модель, которая проверяет запросы к языковой модели и её ответы и отсекает опасный или запрещённый контент. Сама она на запросы не отвечает, а только решает, пропустить ли их. От её точности зависит баланс между защитой от злоупотреблений и ошибочными отказами обычным пользователям.
- Тестирование на проникновениеТестирование на проникновение (penetration testing, пентест) — санкционированная владельцем имитация атаки на информационную систему, чтобы найти и продемонстрировать реально эксплуатируемые уязвимости раньше злоумышленников. В отличие от автоматического сканирования уязвимостей, пентест включает ручную эксплуатацию найденных слабых мест и завершается отчётом с рекомендациями.
В новостях
Anthropic изучает, как не дать Claude Code сохранять пароли, пишет iTnews
Швейцарская компания, которая защищает ИИ-системы от атак, например от промпт-инъекций. Принадлежит Check Point.