Чипы Google оказались выгоднее NVIDIA в части тестов ИИ-агентов
В тестах SemiAnalysis чипы Google выдавали больше текста за доллар, чем ряд систем NVIDIA, однако результат зависел от модели и точности вычислений.
тема · 57 новостей за 60 дней
#бенчмарки
Тесты и рейтинги, по которым сравнивают модели: SWE-bench, ARC-AGI, LMArena и другие.
Вчера 5 ноября, четверг
4 ноября среда
Модель для роботов MolmoAct 2 заняла второе место в тестах на роботе Franka
По данным Ai2, модель для роботов MolmoAct 2 без дообучения под задачи испытаний уступила лишь GPT-6 Astra в тестах на роботизированной руке Franka.
3 ноября вторник
Передовые модели сбиваются на длинных цепочках изменений, показал тест Ai2
На самом трудном уровне теста Ai2, где изменения в тексте зависят друг от друга, GPT-6 Sol и Claude Opus 5.5 дают на самых длинных задачах не больше 13% верных ответов.
2 ноября понедельник
OpenAI представила тест LifeVal для проверки ИИ в повседневных делах
OpenAI в течение последнего года использовала LifeVal для оценки и улучшения моделей; тест подготовили с учётом отзывов тысяч пользователей ChatGPT.
Передовые модели провалили большинство задач, где важна скорость реакции
В Realtime-Bench от ИИ требуют действовать вовремя, и даже у лидера GPT-6 Astra надёжно получается лишь в 36% задач.
Лучшая модель набрала 12% в новом тесте ИИ-агентов от SemiAnalysis
Тест GDPx от SemiAnalysis проверяет ИИ-агентов на реальных задачах в 11 областях; в финансах и праве зачёта не получила ни одна модель, а баллы есть только за частичное выполнение.
29 октября четверг
Gemini 4 Carbon возглавила сторонние рейтинги, но в коде уступает Claude
Сторонние замеры ставят новую модель Google выше Claude Opus 5.5 и GPT-6 Astra в сводном индексе, но в программировании она им уступает.
Передовые модели не набрали и половины в новом тесте на подсчёт предметов
DecoyCount ловит модели, которые называют ожидаемое число вместо подсчёта: GPT-6 Astra верно ответила на 43% вопросов, Glimpse стартапа Elorian, по его замеру, — на 50%.
28 октября среда
Модель Mistral для расшифровки речи стала второй в рейтинге Voice Arena
В рейтинге Voice Arena, где модели размечают, кто и когда говорит в разговоре, младшая модель Mistral Voxtral Mini Transcribe 3 заняла второе место из девяти и обошла более крупную модель той же серии.
Натан Ламберт считает, что хороший тест для ИИ создать труднее, чем поднять в нём баллы
Исследователь Натан Ламберт пишет, что поднимать баллы моделей отрасль умеет куда лучше, чем создавать осмысленные тесты для передовых систем. Повод — новая версия индекса, по которому независимая компания Artificial Analysis сравнивает модели ИИ.
27 октября вторник
Ai2 показал, что вердикт ИИ о новизне научной идеи зависит от слов запроса
GPT-5.4 называла новой идею учёных, а не ИИ, в 93,5% пар, если в запросе упоминались рецензенты, и лишь в 40,9%, если спросить прямо, какая идея новая.
Яндекс и Школа анализа данных выложили тест, где нейросети играют в «Поле чудес» и Wordle
Открытый набор тестов MTGBench из семи текстовых игр показал: режим рассуждений, в котором модель перед ответом пишет черновик решения, сильнее всего помогает в буквенных играх, а по-русски модели играют хуже, чем по-английски.
24 октября суббота
Модель Kimi K3.1 Pro обошла Claude Fable 5.1 в независимом рейтинге
По замерам Artificial Analysis, уже вышедшая модель Moonshot AI отстаёт от лидера рейтинга Claude Opus 5.5 на три балла, а её веса компания обещает открыть к 4 ноября.
21 октября среда
Mistral и NVIDIA сделают открытые тесты ИИ для инженерных расчётов
Mistral и NVIDIA будут вместе ускорять инженерное моделирование и выпустят публичные тесты, чтобы сравнивать ИИ для расчётов и для проектирования микросхем.
Ни один ИИ-агент не решил больше 15 из 95 задач заказчиков в тесте FDE-Gym
В тесте FDE-Gym агент сам выясняет у заказчика, что тому нужно. Лучшая по среднему баллу модель, Claude Opus 5.5, справилась с 14 задачами из 95.
Связка GPT-5.5 и дешёвой модели Jev ловит ошибки рецензентов за полцены
Метод PremiseCheck дробит комментарий рецензента на простые утверждения и сверяет их со статьёй с помощью дешёвой модели Jev: точность сопоставима с GPT-5.5 примерно за полцены.
20 октября вторник
Сервис веб-поиска для ИИ Parallel поставил MiniMax M3.1 Flash первой по экономичности
По замерам Parallel, стартапа, который делает веб-поиск для ИИ-агентов, новая модель MiniMax ищет сведения в интернете на уровне DeepSeek-V4.1-Flash (1017), модели конкурента DeepSeek, но примерно втрое дешевле.
Итан Моллик к выходу новой книги насчитал 180 моделей сильнее GPT-4
По подсчёту Итана Моллика, за 30 месяцев 180 моделей обошли GPT-4, а верный ответ ИИ на трудный научный тест подешевел в 750 раз.
Тест Ai2 показал перекос моделей ИИ в пользу кандидатов из меньшинств
Если лучший кандидат белый или мужчина, модель легче уговорить выбрать более слабого соперника из меньшинства, чем наоборот. Это показал тест FairStress от Ai2.
Обновлённая DeepSeek V4.1 Flash обошла открытых соперников в трёх рейтингах
DeepSeek обновила дешёвую открытую модель V4.1 Flash: цена прежняя, а в независимых тестах модель стала сильнее в задачах агентов и реже выдумывает.
Модели OpenAI стали лучше писать на Коболе и переносить с него программы
По тестам OpenAI, GPT-6.1 Sol верно переносит с Кобола на другие языки 86,6% программ, а прошлая GPT-5.6 Sol справлялась с 5,4%.
18 октября воскресенье
ИИ-агенты на открытых тестах пытались обойти ограничения сайтов
Агент на MiniMax M3 упёрся в лимит данных природоохранного агентства США и подал заявку на свой аккаунт с почтой-заглушкой, а другие агенты пытались пройти проверки на ботов.
16 октября пятница
ИИ-агенты теряют точность в многочасовых задачах по биоинформатике
В новом бенчмарке OmicsBench агенты шаг за шагом повторяют биологические исследования. Лучшая модель набрала 0,57 балла из 1, а ошибки ранних шагов тянут вниз следующие.
15 октября четверг
Ни одна из 135 научных статей ИИ-агентов не выполнила условий учёных
Девять ИИ-агентов писали продолжения работ учёных из лабораторий Минэнерго США: 114 статей из 135 провалили проверку честности, а всех условий не выполнила ни одна.
14 октября среда
Leash Bio сделала из лабораторных замеров тренажёр для ИИ-химиков
В средах Minos от Leash Bio ИИ-агенты ищут молекулы, связывающиеся с белком, — выбирают 100 из миллионов и получают результаты заранее проведённых опытов; сильные модели чаще бросают тупиковые направления.
Google расширила ранний доступ к агенту Earth AI для анализа геоданных
Агент Earth AI построен на модели Gemini: по отчёту Google, на задачах геоаналитиков он набирает 62,7 балла из 100, а сама Gemini без его инструментов — ноль.
ИИ-агенты сами выбирали опыты и решили научную задачу в 31 попытке из 144
В новом бенчмарке, где ИИ-агент сам выбирает научные опыты, лучшей оказалась Claude Opus 5.5: она справилась в двух третях попыток, но каждая удача стоила вдесятеро дороже, чем у GPT-5.6 Luna.
Сторонние тесты разошлись в оценке надёжности Gemini 4 Argon
Модель Google по сводному индексу Artificial Analysis не уступает GPT-6 Astra и по вводным ценам выполняет задания тестов дешевле, но в тесте разработчика Тео Брауна больше половины её утверждений о коде оказались ложными.
13 октября вторник
MolmoAct 2 от Ai2 возглавила рейтинг моделей для роботов по голосам людей
В слепом сравнении 5 494 пар роликов с настоящими роботами люди чаще всего выбирали MolmoAct 2, и порядок моделей совпал с тем, как часто они выполняли задания в испытаниях самой Ai2.
Muse Wonder Full от Meta* почти догнала Claude Opus 5.5 в независимых тестах
Muse Wonder Full от Meta набрала в индексе Artificial Analysis 56 баллов против 58 у Claude Opus 5.5, а в рейтинге агентов для кода обошла её.
Ai2 проверила, не решают ли GPT-6 и Claude задачи за школьников
Модели GPT-6 реже прежних моделей OpenAI помогают ученику сверх нужного, а в целом модели набирают в тесте больше баллов с подробной инструкцией, чем с просьбой «хорошо учить».
12 октября понедельник
Z.ai представила GLM-Legal — модель для юристов на базе GLM-5.3-Flash
Китайская Z.ai дообучила облегчённую GLM-5.3-Flash для работы юристов и уверяет, что на двух юридических тестах GLM-Legal держится вровень с закрытыми передовыми моделями.
Сооснователь Anthropic считает, что ИИ сможет улучшать себя сам уже в 2027 году
Сооснователь Anthropic Джек Кларк теперь ждёт, что ИИ сможет без людей обучать более сильного преемника уже в 2027 году, а не в 2028-м. Его довод — тест, где модель Claude Opus 5.5 ставит опыты эффективнее экспертов.
9 октября пятница
В симуляции Стэнфорда скрытые задачи тестов не всегда сблизили баллы ИИ-моделей с их пользой
В симуляции рынка ИИ скрытые задачи в тестах для моделей сблизили их баллы с пользой для клиентов на 10 тестах из 13, а на трёх расхождение выросло.
Видеомодели проверили на физику, лучшая набрала 57,76 балла из 100
Новый тест из 40 физических задач показал, что ролики видеомоделей часто нарушают законы физики: лучшая из восьми моделей набрала 57,76 балла из 100.
8 октября четверг
Grok 4.7 возглавила юридический тест Harvey с проверкой на галлюцинации
В обновлённом юридическом тесте Harvey задачу засчитывают только без существенных галлюцинаций, и первой стала Grok 4.7: она полностью и без таких ошибок выполнила 9,4% задач.
Claude Haiku 5.5 обошла GPT-6 Luna в сводном индексе независимых тестов
В тестах Artificial Analysis Haiku 5.5 реже GPT-6 Luna выдумывает ответы и лучше работает в командной строке, но отстаёт в автоматизации и тратит больше токенов.
5 октября понедельник
Джек Кларк из Anthropic считает, что ИИ всё лучше автоматизирует науку. Тест C5R выиграла Claude
В лабораторном тесте стартапа C5R лучшей стала Claude Fable 5.1: её средний показатель успеха по 17 группам простых задач — 45%. Модели упускали важные мелочи: например, пытались набрать пипеткой замороженный образец.
2 октября пятница
ИИ-модели обошли бухгалтеров в тесте Mercor на закрытие месяца
Claude Opus 5 без ошибок решила бухгалтерские задачи, на которых 12 лицензированных бухгалтеров в среднем набрали около 37%, хотя полтора года назад модели до людей не дотягивали.
1 октября четверг
ИИ-агент на мощном ПК не отдаёт данные облаку, но решает меньше задач
В тесте AgBench агенты с моделью на самом компьютере решили меньше задач и работали дольше облачных, зато не отправили в облако никаких конфиденциальных данных.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.