Форум передовых моделей
Форум передовых моделей (Frontier Model Forum, FMF) — некоммерческое отраслевое объединение разработчиков ИИ, содействующее безопасности передовых моделей искусственного интеллекта. Поддерживает исследования и разработку стандартов безопасности, вырабатывает рекомендации и организует обмен сведениями о рисках между компаниями, государственными органами, научным сообществом и общественными организациями.
проверено по: frontiermodelforum.org ↗
См. также
- Передовая модельМодель ИИ из числа самых мощных на данный момент, на переднем крае возможностей отрасли (frontier model). Понятие относительное: с выходом более сильных систем модель перестаёт быть передовой. Именно к таким моделям разработчики и регуляторы предъявляют самые строгие требования к оценке рисков и безопасности.
- Институт безопасности ИИГосударственная организация (AI Safety Institute, AISI), которая изучает риски передовых систем ИИ, проверяет модели на опасные возможности и разрабатывает методы оценки. Первые такие институты появились в Великобритании и США; позже они и аналогичные организации других стран договорились о сотрудничестве в международной сети. Отдельные институты, например британский AI Security Institute и американский CAISI, — конкретные примеры этого типа организаций.
- Frontier Safety FrameworkНабор правил и процедур Google DeepMind для выявления и снижения тяжёлых рисков от передовых моделей ИИ. В нём заданы критические уровни возможностей — пороги в таких областях, как кибератаки, биологические угрозы, ускорение исследований в машинном обучении, вредоносная манипуляция и рассогласование. Модели регулярно проходят оценки раннего предупреждения, а при приближении к порогу компания усиливает защиту весов и ограничивает развёртывание. Похожие документы есть у других лабораторий: Preparedness Framework у OpenAI и политика ответственного масштабирования у Anthropic.
- Политика ответственного масштабированияПубличная политика компании Anthropic, связывающая уровни опасных возможностей моделей (ASL) с обязательными мерами защиты и требованиями безопасности при их разработке и выпуске. Если нужные меры не обеспечены, компания обязуется приостановить дальнейшее масштабирование; по её образцу схожие рамочные политики принимали другие лаборатории.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
В новостях
Крупные разработчики ИИ предложили оценивать обходы защиты моделей по общей шкале
Отраслевое некоммерческое объединение крупных разработчиков ИИ (сокращённо FMF), которое вырабатывает общие подходы к безопасности передовых моделей. Его основали Anthropic, Google, Microsoft и OpenAI.