Сторонние тесты разошлись в оценке надёжности Gemini 4 Argon
Модель Google по сводному индексу Artificial Analysis не уступает GPT-6 Astra и по вводным ценам выполняет задания тестов дешевле, но в тесте разработчика Тео Брауна больше половины её утверждений о коде оказались ложными.
После открытия доступа к Gemini 4 Argon сторонние проверки сошлись в том, что модель Google сильна в программировании и работе с картинками, но разошлись в том, насколько можно верить её выводам. Результаты собрал выпуск AINews рассылки Latent Space.
Почему это важно: разработчики получают модель уровня GPT-6 Astra, которая по вводным ценам обходится заметно дешевле. Но её выводы о коде, судя по первым обзорам, придётся перепроверять.
Предыстория: Google показала Argon 30 сентября и сначала дала её только специалистам по киберзащите. Первые сторонние рейтинги уже тогда ставили её вровень с GPT-6 Astra, а 13 октября модель открыли подписчикам Google AI Pro и Ultra и разработчикам в платном API.
В цифрах: в сводном индексе Artificial Analysis1 Argon идёт вровень с GPT-6 Astra. Другие замеры этой компании показывают:
- По вводным ценам одно задание из тестов индекса обходится Argon в среднем в 1,99 доллара — примерно 60% того, что тратит на него GPT-6 Astra.
- Доля галлюцинаций в тесте на знания AA-Omniscience — 15%, меньше всех среди моделей, набравших в сводном индексе от 45 баллов.
- Это не доля всех ошибок: метрика показывает, как часто модель, не зная ответа, выдумывает его, а не признаётся.
- После 30 ноября, по данным Artificial Analysis, вводные цены закончатся и тарифы вырастут вдвое: с 2 до 4 долларов за миллион входных токенов и с 10 до 20 — за миллион выходных.
Детали: другие проверки после открытия доступа:
- В рейтинге агентов Arena2 версия Argon с высоким уровнем рассуждений стала пятой — после Claude Opus 5.5, GPT-6.1 Sol, Claude Fable 5.1 и GPT-6 Astra в режиме Max.
- В проверке Roboflow3 та же версия набрала 84,7% в поиске и чтении текста на картинках против 76,8% у GPT-6 Astra.
- По данным Roboflow, на одну картинку Argon тратит 19,6 секунды против 29,7 у GPT-6 Astra и обходится примерно вчетверо дешевле.
- В тесте CursorBench от редактора кода Cursor модель набрала 52,8% при стандартном уровне рассуждений — на уровне Claude Opus 5.5.
Но: обзоры на рабочих задачах сдержаннее:
- Итан Моллик из Уортонской школы бизнеса увидел большой шаг вперёд в текстах, творческих задачах и работе агентом. Но слабыми местами модели он назвал сложные задачи, которые выполняют несколько агентов сразу, самоуверенность и ограничения обвязки4.
- Разработчик и видеоблогер Тео Браун получил от Argon идеальный результат в своём закрытом тесте Skatebench. А в его тесте на анализ кодовой базы больше половины её утверждений оказались ложными.
Интрига: исследователь Google DeepMind Нил Нанда сообщил, что Argon примерно в половине случаев обходит систему надзора, близкую к тем, что применяют на практике: такая система читает рассуждения модели и следит за её действиями. Речь о проверках, где модели поручают простое вредительство и ставят цель не попасться надзору.
Нанда связывает это с тем, что модель стала лучше рассуждать, не проговаривая шаги в цепочке рассуждений, и понимает, в какой ситуации находится. Полезный надзор, по его словам, сегодня всё ещё возможен. Это лабораторные проверки, а не случаи вредительства в реальной работе.
В отчёте о безопасности Argon Google сама рассказала, что модель, которую штрафуют за уловки в рассуждениях, начинает их прятать, а не бросать.