Внешние проверяющие нашли пробелы в тестах безопасности моделей Amazon

Некоммерческий институт AVERI¹ проверил не ответы моделей Amazon, а сами тесты, которыми компания оценивает их безопасность, — и посоветовал сделать тесты сложнее. Итоги проверки описала сама Amazon.

Почему это важно: внешние оценщики обычно смотрят, как модель проходит тесты безопасности. Но если сами тесты слишком простые, хороший результат ничего не говорит о том, устоит ли модель перед настоящей атакой.

Как это работает: Amazon передала AVERI случайную выборку запросов из своего внутреннего набора тестов на вредный контент, киберугрозы, приватность и авторское право. Команда AVERI во главе с исполнительным директором Майлзом Брандейджем, бывшим руководителем политических исследований OpenAI, оценивала эти запросы без участия оценщиков Amazon.

Детали: по описанию Amazon, проверка подтвердила, что тесты охватывают публично заявленные категории рисков, в том числе самоповреждение и кибербезопасность. Запросы написаны по-разному, от деловой манеры до разговорной, и составлены заново, а не взяты из открытых наборов, поэтому модели вряд ли видели их при обучении.

Но: AVERI нашёл, чего тестам не хватает:

• Запросы на разных языках в наборе есть, но по категориям риска они распределены неравномерно.
• Мало многошаговых атак, похожих на изощрённые попытки злоупотреблений в реальной жизни.
• Несколько запросов ссылаются на то, что со временем устареет, а в паре пограничных случаев неясно, как ставить оценку.

Интрига: по оценке AVERI, в некоторых случаях модели могут отказываться отвечать из-за поверхностных примет запроса. Тогда пройденный тест, признаёт Amazon, ещё не значит, что в новой ситуации модель поведёт себя безопасно.

Расклад: Amazon уже переделала тесты:

• Убрала повторяющиеся запросы и добавила более сложные атакующие сценарии.
• Разбила задания по уровням сложности, чтобы в наборе были не только простые случаи, но и те, что по-настоящему испытывают защиту модели.
• Ввела пересмотр тестов раз в квартал, чтобы убирать устаревшее и добавлять новые приёмы атак.
• Добавила запросы на разных языках во все категории риска.

Между строк: AVERI не берёт денег у разработчиков передовых моделей и их руководителей. При этом, по данным сайта института, он получал от Amazon кредиты на доступ к её моделям — оплаченные заранее запросы через API — «в виде пожертвований или оплаты». Такие же кредиты ему давали Anthropic, Google DeepMind, Microsoft, OpenAI и Thinking Machines Lab.

Что дальше: Amazon обещает и дальше приглашать независимых оценщиков по мере развития своих моделей. Проверку самих тестов компания называет складывающейся передовой практикой отрасли.