модель · SpaceXAI · вышла 9 марта
Grok 4.20
Устаревшая быстрая версия Grok 4.20 без рассуждений для чатов и агентов с инструментами, её сменили Grok 4.3 и более новые модели
О модели
Grok 4.20 — линейка SpaceXAI. Сначала её выпустили как бета-версию, потом открыли в API. В линейке три модели: с рассуждениями, без рассуждений и многоагентная Grok 4.20 Multi-Agent, в которой над ответом одновременно работают несколько агентов. Эта модель — вариант без рассуждений. Она не строит цепочку рассуждений, то есть не обдумывает задачу перед ответом, а отвечает сразу. Поэтому ответ приходит быстрее, а платить за промежуточные токены размышлений не нужно.
В документации SpaceXAI называет Grok 4.20 быстрой моделью, которая хорошо вызывает инструменты: обращается к внешним функциям и сервисам и выдаёт структурированный ответ, то есть данные в заданном формате, например JSON. Компания заявляет, что у модели самая низкая на рынке доля галлюцинаций (так называют выдуманные моделью факты) и что она строго следует запросу.
Её выбирают, когда важнее скорость и точное выполнение инструкций, чем глубокий анализ. Это агенты, которые вызывают инструменты много раз за одну задачу, чат-боты, где ответ нужен сразу, и извлечение данных из документов в нужном формате. Для больших объёмов есть пакетный режим API: запросы выполняются не сразу, зато на 20% дешевле.
Задачи, где нужны многошаговые рассуждения, например в математике или программировании, лучше отдавать варианту с рассуждениями или многоагентной версии. Модель устарела: после неё SpaceXAI выпустила Grok 4.3, 4.5, 4.6 и 4.7. В рейтинге Epoch она заметно ниже лидеров, а стоит дороже большинства моделей каталога.
источники:Страница модели в документации SpaceXAI ↗Заметки о выпусках API SpaceXAI ↗
Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиПодробнее на английском ↗
весь рейтинг40место из 268индекс 152вероятный разброс 149–155
- DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗83,5%
- LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗45,5%
- FrontierMath-Tier-4-v2-PrivateЗакрытый набор самых трудных задач FrontierMath: исследовательская математика, на которую у специалистов уходят часы и дниПодробнее на английском ↗17,1%
- FrontierMath-Tiers-1-3-v2-PrivateСотни новых задач исследовательской математики от профессиональных математиков; эксперту на задачу нужны часы или дниПодробнее на английском ↗44,9%
- CL-bench LifeЗадачи, которые решаются только по данным из запроса: групповые чаты, личные заметки, истории покупок и браузераПодробнее на английском ↗11,9%
- CL-benchУмение выучить новое прямо из длинного текста: вымышленные законы, языки программирования, правила — и решить по ним задачиЗадача засчитывается, только если ответ проходит все проверочные критерии экспертов, поэтому даже лидеры решают около четверти.Подробнее на английском ↗22,2%
- ProofBench100 закрытых задач по математике уровня старших курсов и аспирантуры: модель пишет доказательство на Lean 4, его проверяет программаПодробнее на английском ↗14,0%
- Chess Puzzles100 новых шахматных задач, позиция дана текстом: нужно найти единственный лучший ход по оценке движка StockfishПодробнее на английском ↗20,0%
- SimpleQA Verified1000 коротких вопросов на факты, на которые модель отвечает по памяти, без поиска в интернетеБалл — F1: учитываются и доля верных ответов, и точность там, где модель решилась ответить, так что честное «не знаю» лучше ошибки.Подробнее на английском ↗30,2%
- Terminal BenchЗадачи в командной строке по мотивам реальной работы: агент сам выполняет их в терминале, результат проверяют автотестыПодробнее на английском ↗57,3%
- ARC-AGI-2Вторая, более трудная версия головоломок на клетках: по примерам найти скрытое правило и применить его к новой картинкеНа каждое задание даётся две попытки; люди в среднем решают около 60% заданий.Подробнее на английском ↗65,1%
- WeirdMLНеобычные задачи по машинному обучению: модель пишет код, который на выданных данных обучает классификатор, например для распознавания фигурБалл — средняя точность обученных моделью классификаторов, а не доля решённых задач.Подробнее на английском ↗52,3%
- OTIS Mock AIME 2024-202545 олимпиадных задач по математике из пробных экзаменов AIME школы OTIS; ответ — целое число от 0 до 999Подробнее на английском ↗92,2%
- GPQA diamond198 вопросов с выбором ответа по физике, химии и биологии уровня аспирантуры — такие, что ответ не найти поискомСлучайный выбор даёт 25%, а специалисты с учёной степенью в своей области набирают около 70%.Подробнее на английском ↗85,8%
- ARC-AGIГоловоломки на цветных клетках: по паре примеров нужно понять правило преобразования картинки и применить его к новойПодробнее на английском ↗89,5%
Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).