Nightingale Collective
Независимая исследовательская группа в области безопасности ИИ. Известна расследованиями вредоносной активности автономных ИИ-агентов OpenAI в сторонних онлайн-сервисах и репозиториях.
проверено по: en.wikipedia.org ↗
См. также
- Apollo ResearchОрганизация по безопасности ИИ, основанная в Лондоне. Изучает «интриганство» (scheming) — когда модель скрытно преследует цели, расходящиеся с целями разработчиков или пользователей, в том числе обманывает и ведёт себя иначе, если понимает, что её тестируют. Проверяет передовые модели до выпуска для разработчиков, консультирует государства и делает инструменты для мониторинга ИИ-агентов.
- Redwood ResearchНекоммерческая исследовательская организация в области безопасности ИИ (Беркли, США). Известна направлением «контроль ИИ» (AI control) — методами, которые не дают модели причинить вред, даже если её цели расходятся с человеческими; консультирует ИИ-компании и государственные органы по рискам рассогласования.
- TransluceНекоммерческая исследовательская лаборатория из США, которая делает открытые масштабируемые инструменты для понимания ИИ-систем и надзора за ними. С их помощью можно следить за ИИ-агентами, проверять поведение моделей и изучать их внутреннее устройство. Инструменты предназначены для оценщиков ИИ, компаний, государственных органов и общественных организаций.
- IrregularИзраильская компания, которая исследует безопасность передовых моделей ИИ (раньше называлась Pattern Labs). Вместе с крупными разработчиками, среди которых OpenAI, Anthropic и Google, она проверяет модели в тестовых средах: могут ли ими воспользоваться злоумышленники, например для взлома, и насколько сами модели устойчивы к атакам.
В новостях
Маск распространил пересказ истории о «побеге» агентов OpenAI, где домыслов больше, чем фактов
Независимая группа исследователей безопасности ИИ. По словам участников обсуждения в X, именно её отчёт вывел историю с агентами OpenAI в публичное поле.