ИИтак

← Назад

DeepSeek V4.1-Flash обошла V4 Pro в независимых тестах и оказалась дешевле

Artificial Analysis и Vals AI оценили открытую DeepSeek V4.1-Flash: модель многословна, но задача у неё обходится в семь раз дешевле, чем у Kimi K3.

Изображение: Latent Space

Сразу после выхода DeepSeek V4.1-Flash независимые оценщики Artificial Analysis1 и Vals AI2 поставили открытую модель выше прежней старшей V4 Pro, хотя задача у новинки обходится в 2,5 раза дешевле.

модель под лицензией MIT можно свободно скачать и запустить у себя, а в части тестов она держится вровень с закрытыми GPT-6 Astra и Gemini 3.8 Flash. Компаниям, которые запускают агентов в больших объёмах, важна цена задачи, и у V4.1-Flash она одна из самых низких.

так модель выступила в тестах Artificial Analysis:

  • В сводном индексе интеллекта она набрала 40 баллов — больше, чем V4 Pro, и чуть меньше, чем GLM-5.3-Flash.
  • В AutomationBench-AA3 она в среднем выполнила 69% целей каждой задачи — как GPT-6 Astra и больше, чем Grok 4.6.
  • В GDPval-AA v2, где модели решают задачи из разных профессий, у неё 1632 пункта рейтинга Эло против 1584 у Kimi K3.
  • В тесте AA-LCR на рассуждения по длинным документам она дала 84% верных ответов, как GPT-5.6 Sol и Gemini 3.8 Flash.

Vals AI поставила V4.1-Flash на первое место среди открытых моделей в своём индексе, впереди Kimi K3. Прогон одного теста стоил 30 центов — меньше, чем у любой другой модели из десятки лучших открытых.

модель очень многословна. На задачу из индекса Artificial Analysis она тратит в среднем 89 тыс. токенов, на 62% больше, чем V4 Pro. Это больше, чем у Claude Fable 5.1 и Claude Opus 5. Перекрывает это цена: 30 центов за миллион входных токенов и 1,2 доллара за миллион выходных. В итоге задача стоит в среднем 27 центов — в семь раз меньше, чем у GLM-5.3 и Kimi K3.

размер модели пересчитали. DeepSeek указывала 552 млрд параметров — столько в основной сети. Пользователь Reddit сложил файлы весов на Hugging Face и получил около 763 млрд. Разница — справочная таблица Engram4 почти на 197 млрд параметров, модуль, ускоряющий генерацию, и кодировщик изображений. Ту же цифру, 763 млрд, приводит Artificial Analysis.

несмотря на размер, модель уже запускают на собственных машинах, потому что таблицу Engram можно держать на SSD, а не в памяти:

  • Разработчик Фрейзер Прайс вынес таблицу на 200 ГБ на SSD и запустил модель без дополнительного сжатия весов на четырёх видеокартах Nvidia.
  • Со своей версией vLLM, программы для запуска моделей на серверах, он получил больше 300 токенов в секунду, заняв меньше 32 ГБ оперативной памяти.
  • Сальваторе Санфилиппо, создатель Redis, запустил её через DwarfStar на компьютере Apple с чипом M5 Max и 128 ГБ памяти, подгружая веса с SSD.

«Стоило назвать её DeepSeek V5», — считает Себастьян Рашка, исследователь и автор книг о языковых моделях. Он имеет в виду новое устройство: одна часть модели читает запрос и задействует 8 млрд параметров, другая пишет ответ и задействует 16 млрд.

автор аккаунта TeortaxesTex в соцсети X считает, что DeepSeek «выпускает внутренние исследовательские артефакты, а не продукты». Поэтому, по его словам, у её моделей высокие внутренние оценки, но в реальной работе они хрупки и неожиданно проваливаются в отдельных навыках. Первое место в AutomationBench он назвал «очень странным». В его собственном проекте команда агентов на V4.1-Flash справилась хуже, чем одна модель: субагенты тратили токены на лишний сбор сведений.

DeepSeek выпустила V4.1-Flash 10 сентября и переводит на неё запросы к V4 Pro, пока не вышла V4.1 Pro.

← Все новости