Vals AI
Американская компания, которая независимо оценивает языковые модели и ИИ-агентов на прикладных отраслевых задачах: в праве, финансах, медицине, программировании и других областях. Бенчмарки она собирает вместе с практикующими специалистами и публикует открытые рейтинги моделей. Этим она отличается от академических тестов и от результатов, которые публикуют сами разработчики моделей.
проверено по: vals.ai ↗
См. также
- Artificial AnalysisArtificial Analysis — независимая компания, которая сама тестирует ИИ-модели и API-провайдеров и публикует сравнения по качеству, цене, скорости и задержке. Она оценивает языковые модели, а также модели для речи, изображений, видео и музыки, и ведёт сводный рейтинг Intelligence Index.
- Epoch AIНезависимая некоммерческая исследовательская организация, которая изучает тенденции развития ИИ: рост вычислительных мощностей для обучения, данные, стоимость и возможности моделей. Её базы данных, индексы и прогнозы используют исследователи, компании и те, кто разрабатывает правила для ИИ.
- LegalBenchОткрытый бенчмарк, проверяющий юридические рассуждения больших языковых моделей. Его собрали исследователи под руководством Стэнфордского университета вместе с юристами, которые сами придумывали и составляли задачи. Задачи делятся на шесть типов юридических рассуждений: нужно, например, найти правовую проблему, вспомнить или применить норму, истолковать договор или закон, разобрать аргументацию судебного решения.
- Finance AgentБенчмарк для оценки ИИ-агентов на задачах финансового аналитика: найти данные в отчётности и рыночных источниках и сделать по ним расчёты и выводы. В отличие от тестов на знание финансов проверяет полный рабочий процесс агента с поиском и вычислениями.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- Harvey LABОткрытый бенчмарк (Legal Agent Benchmark) юридической ИИ-компании Harvey. Он проверяет, как ИИ-агенты справляются с долгой работой юристов юридических фирм и корпоративных юридических отделов. Агент получает материалы дела в изолированной среде и готовит итоговые документы: меморандумы, правки договоров, документы для суда. Задачу засчитывают, только если результат прошёл все пункты проверки, составленной практикующими юристами. Этим он отличается от тестов на короткие задачи юридического рассуждения вроде LegalBench.
В новостях
Обновлённая DeepSeek V4.1 Flash обошла открытых соперников в трёх рейтингах
Американская компания, которая проверяет языковые модели на задачах из права, финансов, медицины и программирования и публикует сводный рейтинг Vals Index.
Meta выложила открытую модель Muse Spark Open для кода и агентов
Независимая компания из Сан-Франциско. Проверяет модели на задачах из профессиональной работы, прежде всего финансов и программирования, и публикует рейтинги.
Muse Wonder Full от Meta почти догнала Claude Opus 5.5 в независимых тестах
Американская компания, которая проверяет языковые модели на задачах из реальной работы — в праве, финансах, программировании — и публикует свои рейтинги.
Независимые оценщики поставили Gemini 4 Argon вровень с GPT-6 Astra
Американская компания, которая независимо проверяет языковые модели на задачах из права, финансов, налогов и программирования и публикует их рейтинги.
На максимальном уровне рассуждений Claude Opus 5.5 не дешевле Opus 5
Американская компания, которая независимо оценивает языковые модели на прикладных задачах — от программирования до юридической и финансовой работы — и публикует свои рейтинги.
DeepSeek V4.1-Flash обошла V4 Pro в независимых тестах и оказалась дешевле
Компания из Сан-Франциско, которая оценивает ИИ-модели на рабочих задачах из финансов, права и программирования. Задания она держит закрытыми, чтобы разработчики не могли подогнать под них модели.