Тема
Тесты и рейтинги, по которым сравнивают модели: SWE-bench, ARC-AGI, LMArena и другие.
12 новостей за 60 дней
Логан Килпатрик из Google советует компаниям, которые строят продукты на ИИ, тратить больше 25% времени на свои бенчмарки и убеждать лаборатории обращать на них внимание.
Яндекс официально представил базовую модель Alice AI Foundation на 80 млрд параметров. Вместе с ней компания открыла два бенчмарка для проверки знаний на русском. Модель служит полигоном для будущей рассуждающей модели Алисы AI.
NVIDIA раскрыла подробности первых результатов Vera Rubin NVL72 в тесте MLPerf Inference v6.1. На Qwen3-VL стойка до 3,7 раза производительнее GB300 NVL72, на DeepSeek-R1 — до 2,5 раза. Четыре стойки GB300 масштабируются с эффективностью 99%.
В файл security.txt Hugging Face добавили обращение к ИИ-агентам. Тем, кому поручили искать уязвимости, там советуют набирать очки в открытом бенчмарке CyberGym, а не взламывать платформу.
Независимые тестировщики оценили GPT-6 Astra сдержаннее, чем OpenAI. Задача может стоить на 75% дороже, чем у предшественника, а специалисты по безопасности тревожатся: рассуждения модели стало труднее отслеживать.
Метод BenchMIRT от Ai2 разбирает бенчмарки по отдельным вопросам. Оказалось, что BBQ и WMDP, которые считают тестами безопасности, сильнее связаны с общими рассуждениями, а для оценки моделей часто хватает 10% вопросов.
Hugging Face и Voice Arena добавили в Open ASR Leaderboard наборы Monsoon: почти 4 900 дикторов из сотен индийских районов, для каждого записано 12 характеристик. Хинди — первый язык из Индии в многоязычном разделе рейтинга.
Amazon выложила в открытый доступ SOP-Bench — более 2 000 задач по настоящим рабочим регламентам из 12 отраслей. Тесты 11 передовых моделей показали: новые модели не всегда сильнее старых, а лишние инструменты вдвое снижают успех.
Авторы Open ASR Leaderboard проверили 11 открытых моделей распознавания речи. Лучшие по оценкам модели повторяют ошибки эталонных расшифровок VoxPopuli и LibriSpeech и даже «слышат» числа, вырезанные из записи.
Microsoft Research и соавторы выпустили MindTopo — бенчмарк на понимание связности, замкнутости, порядка и узлов. Мультимодальные модели узнают такие связи на статичной картинке заметно лучше, чем сохраняют их, пока действуют.
PatientAgentBench проверяет ИИ-агентов в долгих разговорах с виртуальными пациентами. Главный вывод: модели лучше справляются с явными экстренными случаями, чем с рутинными просьбами, за которыми скрывается реальный риск.
По данным OpenAI, GPT-5.6 утроила баллы в бенчмарке ARC-AGI-3 и потратила меньше ресурсов. Для этого модели сохранили рассуждения между шагами и включили сжатие контекста.