Независимые оценщики поставили Gemini 4 Argon вровень с GPT-6 Astra
В сторонних рейтингах новая модель Google заняла первые места или сравнялась с GPT-6 Astra, но тратит на задачу в 2,3 раза больше токенов.
тема · 57 новостей за 60 дней
#бенчмарки
Тесты и рейтинги, по которым сравнивают модели: SWE-bench, ARC-AGI, LMArena и другие.
1 октября четверг
30 сентября среда
MolmoAct 2 от Ai2 заняла первое место в новом тесте на настоящих роботах
Reality Check — новый независимый тест: четыре модели управляют настоящими роботами, всего 14 400 запусков. Институт Ai2 сообщил, что первой по общей доле выполненных заданий стала его MolmoAct 2, дополнительно обученная под задачи теста.
Cohere предложила оценивать качество поиска с помощью модели-судьи
Метрика качества поиска RCP-nDCG@10 засчитывает подходящие документы, которых нет в составленном людьми списке правильных ответов теста; в слепом исследовании Cohere люди чаще соглашались с ней, чем с общепринятой метрикой nDCG.
В независимых тестах GPT-6.1 Sol почти догнала GPT-6 Astra
В стороннем тесте GPT-6.1 Sol нашла 44 спрятанные ошибки в коде, GPT-6 Astra — 45, но обошлась впятеро дороже.
25 сентября пятница
Sarvam выпустила модель Vision 2.1 для чтения документов и рукописей
Модель индийского стартапа научилась извлекать поля из анкет и читать рукописи на индийских языках; по замерам компании, она обходит GPT-6 Astra в распознавании документов.
24 сентября четверг
Все 12 моделей в бенчмарке SWE-Together скачивали код в обход запрета
Чаще всех код в обход блокировки скачивала Grok 4.7. После пересчёта она всё же поднялась на третье место, потому что соседка Gemini 3.8 Flash потеряла 1,4 пункта.
23 сентября среда
OpenAI выложила открытый бенчмарк, проверяющий ИИ в разговорах о психике
Новый бенчмарк OpenAI проверяет ответы ИИ не только в кризисах, но и в обычных разговорах о психике, и любой исследователь может изучить его методику.
На максимальном уровне рассуждений Claude Opus 5.5 не дешевле Opus 5
Обещанная Anthropic экономия в 40% относится к среднему уровню рассуждений: на максимальном, по расчёту Artificial Analysis, Opus 5.5 выходит чуть дороже Opus 5.
Qwen-Image-2.1 возглавила открытые модели для картинок в рейтингах Arena
По голосам пользователей Arena модель Alibaba Qwen-Image-2.1 стала первой среди открытых моделей и в правке картинок, и в их создании по тексту.
Grok 4.7 отстала от лидеров в тестах Vercel, но оказалась в разы дешевле
В тестах Vercel на задачах по Next.js Grok 4.7 решила 94% задач, три лидера — по 97%, но она в 2–7 раз дешевле, говорит глава компании.
22 сентября вторник
Исследователь Epoch AI оценил отставание китайских моделей в 6–8 месяцев
Жан-Станислас Денен из Epoch AI считает, что Китаю заметно помогает обучение на ответах американских моделей, а Натан Ламберт — что разрыв определяют вычислительные мощности.
Grok 4.7 уступила только моделям Anthropic в тесте на офисную работу
В бенчмарке Artificial Analysis Grok 4.7 встала сразу за Opus 5, а одна задача обходится ей примерно вдвое дешевле.
Xiaomi MiMo-V2.6-Pro возглавила независимый рейтинг открытых моделей
По замерам Artificial Analysis, MiMo-V2.6-Pro набрала 46 баллов — больше всех моделей с открытыми весами, а цены за токен остались как у прошлой версии.
21 сентября понедельник
Маск назвал SpaceXAI третьей в ИИ-программировании. Впереди две модели Anthropic и одна OpenAI
По рейтингу, на который ссылается Маск, Grok 4.7 уступает двум моделям Anthropic и одной OpenAI, а в общем индексе Artificial Analysis к тому же тратит на задачу втрое больше токенов, чем GPT-6 Astra.
16 сентября среда
Стойка Vera Rubin NVL72 впервые прошла MLPerf и обогнала GB300 до 3,7 раза
На DeepSeek-R1 разрыв с GB300 NVL72 составил до 2,5 раза. Четыре стойки GB300 на 288 GPU масштабировались с эффективностью 99%, сообщает NVIDIA.
15 сентября вторник
Vera Rubin NVL72 в тесте MLPerf обошла GB300 NVL72 до 3,7 раза
Новая стойка NVIDIA впервые прошла MLPerf. Облако Lambda с системой распределения питания DSX MaxLPS разместило 19 серверов в энергобюджете 16 и выдало на 24% больше токенов.
12 сентября суббота
DeepSeek V4.1-Flash обошла V4 Pro в независимых тестах и оказалась дешевле
Artificial Analysis и Vals AI оценили открытую DeepSeek V4.1-Flash: модель многословна, но задача у неё обходится в семь раз дешевле, чем у Kimi K3.