Irregular
Израильская компания, которая исследует безопасность передовых моделей ИИ (раньше называлась Pattern Labs). Вместе с крупными разработчиками, среди которых OpenAI, Anthropic и Google, она проверяет модели в тестовых средах: могут ли ими воспользоваться злоумышленники, например для взлома, и насколько сами модели устойчивы к атакам.
проверено по: irregular.com ↗
См. также
- Frontier Red TeamИсследовательская команда Anthropic, которая проводит стресс-тестирование передовых моделей компании: выясняет, на что они способны в опасных областях — кибербезопасности, национальной безопасности (включая оружие) и автономных системах, в том числе робототехнике, — и заранее оценивает, что станет возможным дальше. Это конкретное подразделение компании, а не общий метод ред-тиминга. Свои выводы команда публикует открыто.
- Apollo ResearchОрганизация по безопасности ИИ, основанная в Лондоне. Изучает «интриганство» (scheming) — когда модель скрытно преследует цели, расходящиеся с целями разработчиков или пользователей, в том числе обманывает и ведёт себя иначе, если понимает, что её тестируют. Проверяет передовые модели до выпуска для разработчиков, консультирует государства и делает инструменты для мониторинга ИИ-агентов.
- Gray SwanКомпания в области безопасности ИИ, основанная исследователями Университета Карнеги — Меллона. Проводит открытые соревнования по взлому моделей и ИИ-агентов на своей платформе Arena, в том числе совместно с государственными институтами безопасности ИИ. Делает инструменты автоматического ред-тиминга и защиты моделей во время работы, а также оценивает для разработчиков передовых моделей их устойчивость к джейлбрейкам и промпт-инъекциям.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
- Передовая модельМодель ИИ из числа самых мощных на данный момент, на переднем крае возможностей отрасли (frontier model). Понятие относительное: с выходом более сильных систем модель перестаёт быть передовой. Именно к таким моделям разработчики и регуляторы предъявляют самые строгие требования к оценке рисков и безопасности.
В новостях
Gemini взломала три компании на тесте, Google рассказала лишь после WSJ
Компания из Тель-Авива, которая по заказу ИИ-лабораторий проверяет, способны ли их модели проводить кибератаки.