Icaro Foundation
Независимый некоммерческий исследовательский фонд из Италии. Он изучает безопасность, поведение и регулирование систем ИИ на стыке инженерии, права и гуманитарных наук, а также независимо оценивает модели и агентов. В частности, проверяет, как они ведут себя при провокационных формулировках, долгом общении и работе с инструментами. Исследовательское подразделение фонда — Icaro Lab, известная работой о джейлбрейке языковых моделей стихотворными запросами.
проверено по: icarofoundation.org ↗
См. также
- ДжейлбрейкПриём обхода защитных ограничений ИИ-модели (jailbreak): специально составленный запрос — ролевая игра, маскировка просьбы, необычная форма вроде стихов — заставляет модель выдать то, в чём она обычно отказывает. От промпт-инъекции отличается тем, что пользователь напрямую атакует правила безопасности самой модели, а не подмешивает чужие инструкции в данные, которые она обрабатывает. Изначально так называли снятие ограничений производителя на смартфонах.
- Институт безопасности ИИГосударственная организация (AI Safety Institute, AISI), которая изучает риски передовых систем ИИ, проверяет модели на опасные возможности и разрабатывает методы оценки. Первые такие институты появились в Великобритании и США; позже они и аналогичные организации других стран договорились о сотрудничестве в международной сети. Отдельные институты, например британский AI Security Institute и американский CAISI, — конкретные примеры этого типа организаций.
В новостях
Исследователи предложили искать внутри ИИ понятия, которых нет у людей
Независимый некоммерческий фонд, чья лаборатория Icaro Lab проводит внешние проверки передовых ИИ-систем: как они ведут себя в реалистичных условиях и под атаками.