Gemini 4 Carbon возглавила сторонние рейтинги, но в коде уступает Claude
Сторонние замеры ставят новую модель Google выше Claude Opus 5.5 и GPT-6 Astra в сводном индексе, но в программировании она им уступает.
Gemini 4 Carbon, которую Google пока дала только специалистам по киберзащите, в первых независимых замерах заняла первое место в сводном индексе Artificial Analysis1, но в программировании уступила Claude Opus 5.5.
Повод: Google представила Carbon 28 октября и назвала её лучшей в кибербезопасности и в долгих задачах, где модель работает сама. Прошлую модель, Gemini 4 Argon, компания показала в конце сентября, и тогда сторонние оценщики поставили её вровень с GPT-6 Astra.
В цифрах: Carbon и соперники в замерах Artificial Analysis и компании Proximal. Сводный индекс Artificial Analysis собран из девяти тестов, а цена задачи — во сколько в среднем обходится одна задача из этих тестов.
| Замер | Carbon | Opus 5.5 | GPT-6 Astra |
|---|---|---|---|
| Сводный индекс, баллы | 59 | 58 | 57 |
| Средняя цена задачи индекса | $7,76 | $10,04 | $6,25 |
| Индекс агентов для кода | 59 | 62 | — |
| Тест кода FrontierSWE | 61,2% | 62,3% | 65,5% |
FrontierSWE — тест на программирование, результаты по нему опубликовала Proximal; остальное — замеры Artificial Analysis, прочерк — замера нет.
Детали: в индексе агентов для кода Carbon работала в Antigravity CLI, собственном агенте Google для программирования, а Opus 5.5 на максимальном уровне рассуждений — в Claude Code. Как Carbon справится в других обвязках2, не проверяли. В начале октября Business Insider писал, что один сотрудник Google счёл её сопоставимой с Opus 5.5 в программировании.
Расклад: в других сторонних рейтингах Carbon тоже среди первых:
- В текстовом рейтинге Arena, где люди вслепую выбирают лучший из двух ответов, Carbon первая, в рейтинге агентов — вторая, в веб-разработке — четвёртая.
- Компания Vals AI ставит её второй в общем индексе и первой в тестах по финансам и юридическим исследованиям. Carbon тратит на ответы на 64% больше токенов, чем Argon.
- Andon Labs поставила её первой в Vending-Bench 2, где модель ведёт смоделированный бизнес с торговыми автоматами, и в Blueprint-Bench 2, где она сравнялась с людьми в понимании трёхмерного пространства.
- В тесте AA-Briefcase на задачи офисных специалистов Carbon набрала на 126 очков Эло больше Argon, но отстаёт от Grok 4.7, Muse Wonder и Kimi K3.1 Pro.
Но: в тесте на знания AA-Omniscience доля галлюцинаций у Carbon выросла с 4% у Argon до 11%, хотя это всё ещё второй лучший результат среди проверенных моделей. По замерам самой Google, необоснованных утверждений у Carbon примерно вдвое меньше, чем у Argon. Об этом написал в соцсети X сотрудник компании Логан Килпатрик, который и представлял новую модель.
Интрига: вводная цена Carbon — $2 за миллион входных токенов и $10 за миллион выходных — по данным Artificial Analysis, это скидка 50% от обычной цены в $4 и $20. Срок у скидки не назначен.
Что дальше: пока Carbon получают участники Fairwind Program3, остальным разработчикам Google обещает открыть её «как можно скорее».
Глава Google Сундар Пичаи на квартальном звонке с инвесторами сказал, что ИИ уже ускоряет обучение и выпуск моделей. В ближайшие 12 месяцев он ждёт «дальнейшего ускорения благодаря рекурсивному самосовершенствованию4».
Подробнее: Google представила модель Gemini 4 Carbon для кода и киберзащиты