Artificial Analysis
Artificial Analysis — независимая компания, которая сама тестирует ИИ-модели и API-провайдеров и публикует сравнения по качеству, цене, скорости и задержке. Она оценивает языковые модели, а также модели для речи, изображений, видео и музыки, и ведёт сводный рейтинг Intelligence Index.
проверено по: artificialanalysis.ai ↗
См. также
- Artificial Analysis Intelligence IndexСводный индекс независимой компании Artificial Analysis, которая сравнивает ИИ-модели. Он объединяет результаты языковых моделей в нескольких тестах на работу агентов, программирование, общие знания и научные рассуждения и сводит их в один балл по шкале от 0 до 100. Набор тестов в индексе со временем обновляется.
- AutomationBench-AAНезависимый вариант бенчмарка AutomationBench компании Zapier, который Artificial Analysis прогоняет на закрытом наборе задач. ИИ-агент выполняет рабочие сценарии в симуляциях сервисов вроде Gmail, Slack, Salesforce и Jira и при этом должен соблюдать бизнес-правила. Если правило нарушено, задача получает ноль баллов.
- ArenaОткрытая платформа для сравнения ИИ-моделей, прежде называвшаяся Chatbot Arena и LMArena. Пользователи вслепую сравнивают ответы двух анонимных моделей и голосуют за лучший, а по голосам строится публичный рейтинг. Этим она отличается от обычных бенчмарков с фиксированным набором задач.
В новостях
Mistral открыла веса улучшенной Large 4 — модели для кода и киберзащиты
Независимая компания, которая тестирует ИИ-модели и сервисы и сводит результаты в публичные рейтинги и индексы: по общим способностям, программированию, скорости и цене.
Gemini 4 Carbon возглавила сторонние рейтинги, но в коде уступает Claude
Независимая компания, которая сравнивает ИИ-модели по качеству ответов, скорости и цене и сводит результаты тестов в собственный индекс.
Натан Ламберт считает, что хороший тест для ИИ создать труднее, чем поднять в нём баллы
Независимая компания, которая сама тестирует модели ИИ и сравнивает их по способностям, скорости и цене. Ведёт открытые рейтинги и сводный индекс, где результаты нескольких тестов сведены в один балл.
Microsoft выпустила модель MAI-Image-2.7-Preview для правки изображений
Независимая компания, которая сравнивает модели ИИ по качеству, скорости и цене. Ведёт рейтинги-арены: в них люди вслепую выбирают лучший из двух результатов.
Натан Ламберт считает, что ИИ находит больше уязвимостей не из-за открытых моделей
Независимая компания, которая сравнивает языковые модели по набору тестов, а также по скорости и цене работы, и ведёт сводный рейтинг.
Блогерам предлагали скрытую рекламу модели Kimi K3.1 Pro, пишет VentureBeat
Независимая компания, которая сама прогоняет модели через наборы тестов, сводит результаты в общий индекс и сравнивает модели по качеству, скорости и цене.
Модель Kimi K3.1 Pro обошла Claude Fable 5.1 в независимом рейтинге
Независимая компания, которая сама прогоняет модели через наборы тестов и сводит результаты в рейтинги: общий Intelligence Index, отдельные индексы по коду, кибербезопасности и другим областям.
Обновлённая DeepSeek V4.1 Flash обошла открытых соперников в трёх рейтингах
Независимая компания, которая тестирует ИИ-модели и сравнивает их по качеству, скорости и цене. Её сводный рейтинг — Artificial Analysis Intelligence Index.
SpaceXAI выпустила голосовую модель Grok Voice 3.0, цена не изменилась
Независимая компания, которая тестирует ИИ-модели и сравнивает их по качеству, скорости и цене.
Сторонние тесты разошлись в оценке надёжности Gemini 4 Argon
Независимая компания, которая сравнивает модели ИИ и сервисы, где они работают, по качеству, скорости и цене и сводит результаты в собственные индексы.
Muse Wonder Full от Meta почти догнала Claude Opus 5.5 в независимых тестах
Независимая компания, которая тестирует языковые модели и сравнивает их по качеству, скорости и цене; ведёт сводный индекс по набору тестов.
Grok 4.7 возглавила юридический тест Harvey с проверкой на галлюцинации
Независимая компания, которая сравнивает ИИ-модели по качеству, скорости и цене, ведёт собственные рейтинги и проводит тесты, в том числе вместе с другими компаниями.
Claude Haiku 5.5 обошла GPT-6 Luna в сводном индексе независимых тестов
Независимая компания, которая сравнивает ИИ-модели и их поставщиков по качеству, скорости и цене. Сводит результаты собственных прогонов многих тестов в общий индекс.
Глава Microsoft AI назвал новую модель расшифровки речи самой точной. Она дороже модели ElevenLabs
Независимая компания, которая сама замеряет точность, скорость и цену моделей разных разработчиков и публикует по ним рейтинги.
Независимые оценщики поставили Gemini 4 Argon вровень с GPT-6 Astra
Независимая компания, которая сравнивает языковые модели по качеству, скорости и цене и ведёт сводный рейтинг Intelligence Index.
Маск похвалил первое место Grok 4.7 в рейтинге киберзащиты. Старшие модели OpenAI и Anthropic отказались проходить один из тестов
Независимая компания, которая тестирует ИИ-модели и сравнивает их по качеству, скорости и цене, а по итогам публикует рейтинги.
Alibaba выпустила пять речевых моделей Qwen-Audio-3.1 и снизила цены
Независимая компания, которая сравнивает ИИ-модели и сервисы по качеству, скорости и цене. На её арене синтеза речи люди вслепую выбирают, какой голос звучит лучше.
На максимальном уровне рассуждений Claude Opus 5.5 не дешевле Opus 5
Независимая компания, которая тестирует ИИ-модели и сервисы и сравнивает их качество, скорость и цену. Ведёт сводный рейтинг Intelligence Index, составленный из нескольких бенчмарков.
Claude Opus 5.5 на максимуме рассуждений дважды не дала ответа Уиллисону
Независимая компания, которая тестирует ИИ-модели на наборе бенчмарков и сравнивает их по качеству, скорости и цене.
Grok 4.7 отстала от лидеров в тестах Vercel, но оказалась в разы дешевле
Независимая компания, которая сравнивает модели ИИ по качеству ответов, скорости и цене и ведёт открытые рейтинги.
Anthropic выпустила Claude Opus 5.5, которая дешевле и быстрее Opus 5
Независимая компания, которая сравнивает модели ИИ по качеству, скорости и цене на собственных и общедоступных тестах.
Исследователь Epoch AI оценил отставание китайских моделей в 6–8 месяцев
Независимая компания, которая тестирует модели ИИ на наборе бенчмарков и сводит результаты в общий рейтинг, а также сравнивает их цены и скорость.
Xiaomi MiMo-V2.6-Pro возглавила независимый рейтинг открытых моделей
Независимая компания, которая сама тестирует ИИ-модели и их поставщиков. Она публикует рейтинги моделей по качеству ответов, скорости и цене.
Маск назвал SpaceXAI третьей в ИИ-программировании. Впереди две модели Anthropic и одна OpenAI
Независимая компания, которая сравнивает ИИ-модели по качеству, скорости и цене на собственных наборах тестов и публикует рейтинги.
SpaceXAI выпустила модель распознавания речи Grok Voice Transcribe 2.0
Независимая компания, которая сравнивает ИИ-модели по качеству, скорости и цене и ведёт открытые рейтинги.
Google встроила голосовую Gemini 3.8 Live в Gmail, Docs и поиск. Кому это доступно
Независимая компания, которая тестирует модели ИИ и публикует рейтинги их качества, скорости и цены.
Google выпустила голосовые модели Gemini 3.8 Live для разработчиков
Независимая компания, которая тестирует ИИ-модели на собственных наборах задач и ведёт публичные рейтинги по качеству, скорости и цене.
DeepSeek V4.1-Flash обошла V4 Pro в независимых тестах и оказалась дешевле
Независимая компания, которая сама прогоняет ИИ-модели через наборы тестов, сводит результаты в общий индекс и сравнивает модели по цене и скорости.