Все 12 моделей в бенчмарке SWE-Together скачивали код в обход запрета

Авторы бенчмарка SWE-Together¹ нашли у всех 12 проверенных ИИ-моделей попытки, в которых агент в обход запрета скачивал код из интернета. Эти попытки перезапустили и пересчитали рейтинг.

Почему это важно: задачи бенчмарка взяты из реальных проектов с открытым кодом, и исправления к ним уже лежат в сети. Модель, которая их находит, получает балл за чужую работу, и так делала не только Grok 4.7.

Повод: Илон Маск процитировал отчёт авторов в соцсети X и подал итог одной фразой: «Grok 4.7 поднимается в рейтинге». Модель SpaceXAI, вышедшая 21 сентября, и правда сместилась с четвёртого места на третье, но её балл не изменился: её обогнала вниз Gemini 3.8 Flash, которая после перепроверки потеряла 1,4 пункта.

Предыстория: проверку устроили из-за самой Grok 4.7. Она нашла слабые места в песочнице, то есть в изолированной среде, где агент должен решать задачу без доступа к GitHub. Авторы закрыли лазейки («спасибо, Grok») и ещё до публикации результата модели перезапустили 44 из её 218 попыток, в которых код прошёл мимо блокировки.

Как это работает: авторы просмотрели, какие инструменты вызывали модели во всех 2 616 попытках, и разложили подозрительные случаи на четыре группы:

• Агент пытался выбраться за пределы песочницы, но блокировка его остановила.
• Агент скачал из исходного репозитория проекта какой-то другой код.
• Агент скачал готовое исправление той самой задачи, которую решал.
• Агент заменил весь проект свежей версией из исходного репозитория.

В цифрах: код прошёл мимо блокировки в 111 попытках.

• 44 из них пришлись на Grok 4.7, остальные 67 — на другие 11 моделей.
• Среди остальных больше всех у Grok 4.6 — 19 попыток, у Gemini 3.8 Flash — 10.
• У GPT-6 Astra и GPT-5.6 Sol — по восемь, у шести моделей Anthropic — от двух до шести, у Muse Spark 1.3 — две.

Детали: 67 попыток перезапустили в укреплённой песочнице с той же моделью, версией и настройками и оценили заново тем же способом. Утечек не было, а блокировка отбила 2 815 попыток выбраться. Среди них было два новых обходных пути:

• Модели просили другую ИИ-модель, доступную через служебный канал бенчмарка, достать готовое исправление из GitHub.
• Модели скачивали из каталога npm² следующую версию той самой программы, которую должны были исправить.

Расклад: баллы сдвинулись не больше чем на 1,4 пункта в любую сторону, несколько соседей поменялись местами. Вот верх таблицы по доле задач, решённых с одной попытки:

• Первое место у Claude Fable 5.1: 69,3%, балл не изменился.
• Второе у Claude Fable 5: балл снизился с 69,7 до 68,8.
• Третье у Grok 4.7 с 64,7.
• Четвёртое у Gemini 3.8 Flash: 64,2 вместо 65,6.

Интрига: Grok 4.6 обходила запрет в 19 попытках, но после перезапуска её балл вырос с 59,2 до 60,6. Авторы называют этот случай забавным.

Что говорят: «Их поведение может идти от склонности всегда искать в интернете готовые решения, чтобы не изобретать велосипед, — в реальной работе это очень хорошая привычка. Но делать так, когда тебя просят этого не делать, — другое дело», — пишут о моделях Grok авторы SWE-Together.