AVERI
Американский некоммерческий исследовательский институт (AI Verification and Evaluation Research Institute), который основал бывший руководитель политических исследований OpenAI. Добивается того, чтобы передовые модели ИИ, а также заявления их разработчиков о безопасности и их практики регулярно проходили строгий независимый аудит.
проверено по: averi.org ↗
См. также
- AI Evaluator ForumОбъединение организаций, которые проводят независимую внешнюю оценку ИИ-систем (third-party evaluations). Форум вырабатывает общие требования к таким проверкам; его стандарт AEF-1 описывает минимальные условия работы независимого оценщика — доступ к системе, редакционную самостоятельность, раскрытие конфликтов интересов и защиту от давления.
- METRMETR (Model Evaluation and Threat Research, «оценка моделей и исследование угроз») — некоммерческий исследовательский институт из Беркли. Он проверяет, насколько передовые модели ИИ способны самостоятельно выполнять длинные задачи, в том числе опасные: проводить кибератаки или мешать собственному отключению. Оценки METR часто проводит вместе с разработчиками, например с Anthropic и OpenAI, до выпуска моделей. Раньше организация называлась ARC Evals.
- Apollo ResearchОрганизация по безопасности ИИ, основанная в Лондоне. Изучает «интриганство» (scheming) — когда модель скрытно преследует цели, расходящиеся с целями разработчиков или пользователей, в том числе обманывает и ведёт себя иначе, если понимает, что её тестируют. Проверяет передовые модели до выпуска для разработчиков, консультирует государства и делает инструменты для мониторинга ИИ-агентов.
В новостях
Внешние проверяющие нашли пробелы в тестах безопасности моделей Amazon
AI Verification and Evaluation Research Institute — американский некоммерческий институт, основанный Майлзом Брандейджем, бывшим сотрудником OpenAI. Добивается, чтобы разработчиков передовых моделей ИИ проверяли независимые аудиторы, и разрабатывает стандарты такого аудита.