Redwood Research
Некоммерческая исследовательская организация в области безопасности ИИ (Беркли, США). Известна направлением «контроль ИИ» (AI control) — методами, которые не дают модели причинить вред, даже если её цели расходятся с человеческими; консультирует ИИ-компании и государственные органы по рискам рассогласования.
проверено по: redwoodresearch.org ↗
См. также
- РассогласованиеРассогласование (misalignment) — ситуация, когда система ИИ ведёт себя не так, как задумали её создатели: преследует цели, которые ей не ставили, обходит инструкции или оптимизирует формальный показатель вместо настоящей задачи. Противоположное понятие — согласование (alignment): это направление исследований о том, как привести поведение ИИ в соответствие с намерениями и ценностями людей.
- Apollo ResearchОрганизация по безопасности ИИ, основанная в Лондоне. Изучает «интриганство» (scheming) — когда модель скрытно преследует цели, расходящиеся с целями разработчиков или пользователей, в том числе обманывает и ведёт себя иначе, если понимает, что её тестируют. Проверяет передовые модели до выпуска для разработчиков, консультирует государства и делает инструменты для мониторинга ИИ-агентов.
- METRMETR (Model Evaluation and Threat Research, «оценка моделей и исследование угроз») — некоммерческий исследовательский институт из Беркли. Он проверяет, насколько передовые модели ИИ способны самостоятельно выполнять длинные задачи, в том числе опасные: проводить кибератаки или мешать собственному отключению. Оценки METR часто проводит вместе с разработчиками, например с Anthropic и OpenAI, до выпуска моделей. Раньше организация называлась ARC Evals.
В новостях
Райан Гринблатт отверг подозрения OpenAI, что через него утекли сведения о её моделях
Некоммерческая исследовательская организация из США. Изучает, как держать ИИ-модели под контролем, даже если их цели расходятся с целями людей.
OpenAI проверила телефоны исследователей, прежде чем их уволить, пишет WSJ
Некоммерческая исследовательская организация из Калифорнии. Изучает, как удерживать ИИ-системы под контролем, даже если они действуют против замысла разработчиков.
Внешние проверяющие нашли бреши в системе, следящей за агентами OpenAI
Некоммерческая исследовательская организация из Беркли, которая занимается безопасностью ИИ. Главная её тема — контроль: как удержать модель в рамках, даже если её цели разошлись с замыслом разработчиков.
Hugging Face предложила NVIDIA следить за разрешённым трафиком ИИ-агентов
Некоммерческая исследовательская организация из США. Изучает безопасность ИИ, прежде всего способы контролировать модели, которые могут действовать вопреки целям разработчиков.
OpenAI описала, как внешние эксперты должны проверять её модели
Американская некоммерческая лаборатория, которая изучает безопасность ИИ, в первую очередь способы держать под контролем модели, способные действовать против воли разработчиков.
Натан Ламберт назвал вредным резонанс вокруг ухода Коксона из Anthropic
Некоммерческая исследовательская организация, которая занимается безопасностью ИИ, в том числе контролем над моделями, способными действовать вопреки намерениям разработчиков.