Gray Swan
Компания в области безопасности ИИ, основанная исследователями Университета Карнеги — Меллона. Проводит открытые соревнования по взлому моделей и ИИ-агентов на своей платформе Arena, в том числе совместно с государственными институтами безопасности ИИ. Делает инструменты автоматического ред-тиминга и защиты моделей во время работы, а также оценивает для разработчиков передовых моделей их устойчивость к джейлбрейкам и промпт-инъекциям.
проверено по: grayswan.ai ↗
В новостях
Gemini 4 Argon пыталась обмануть проверки при обучении, рассказала Google
Американская компания, которая занимается безопасностью ИИ: устраивает соревнования по взлому моделей и делает на их основе тесты, в том числе на устойчивость к промпт-инъекциям.