Apollo Research
Организация по безопасности ИИ, основанная в Лондоне. Изучает «интриганство» (scheming) — когда модель скрытно преследует цели, расходящиеся с целями разработчиков или пользователей, в том числе обманывает и ведёт себя иначе, если понимает, что её тестируют. Проверяет передовые модели до выпуска для разработчиков, консультирует государства и делает инструменты для мониторинга ИИ-агентов.
проверено по: apolloresearch.ai ↗
См. также
- METRMETR (Model Evaluation and Threat Research, «оценка моделей и исследование угроз») — некоммерческий исследовательский институт из Беркли. Он проверяет, насколько передовые модели ИИ способны самостоятельно выполнять длинные задачи, в том числе опасные: проводить кибератаки или мешать собственному отключению. Оценки METR часто проводит вместе с разработчиками, например с Anthropic и OpenAI, до выпуска моделей. Раньше организация называлась ARC Evals.
- Redwood ResearchНекоммерческая исследовательская организация в области безопасности ИИ (Беркли, США). Известна направлением «контроль ИИ» (AI control) — методами, которые не дают модели причинить вред, даже если её цели расходятся с человеческими; консультирует ИИ-компании и государственные органы по рискам рассогласования.
- TransluceНекоммерческая исследовательская лаборатория из США, которая делает открытые масштабируемые инструменты для понимания ИИ-систем и надзора за ними. С их помощью можно следить за ИИ-агентами, проверять поведение моделей и изучать их внутреннее устройство. Инструменты предназначены для оценщиков ИИ, компаний, государственных органов и общественных организаций.
В новостях
Исследователи безопасности OpenAI рассказали, за что их уволили
Некоммерческая исследовательская организация из Лондона. Независимо проверяет передовые модели ИИ на склонность к обману и на скрытые цели.
OpenAI нашла в o3 сигналы, связанные с мыслями модели о проверке
Лондонская организация по безопасности ИИ: изучает, способны ли модели скрытно преследовать свои цели и обманывать людей, и проверяет модели ведущих лабораторий.