модель · Google · вышла 19 февраля
Gemini 3.1 Pro Preview
Предварительная версия флагманской модели Google для сложных рассуждений, программирования и агентных задач
О модели
Gemini 3.1 Pro — обновлённая версия Gemini 3 Pro, старшей модели Google на момент выхода. Компания описывает её как более умную базу для задач, «где простого ответа недостаточно». Перед ответом модель рассуждает. Помимо текста она понимает картинки, звук, видео и документы. По карточке модели, она построена на основе Gemini 3 Pro: устройство и данные для обучения не менялись, новых подробностей Google не раскрывала.
Главное отличие от Gemini 3 Pro — рассуждения. На бенчмарке ARC-AGI-2 модель решает логические головоломки нового для неё типа и набирает 77,1%. По замерам Google, это больше чем вдвое лучше Gemini 3 Pro. В карточке модели приведены и другие результаты: 94,3% на GPQA Diamond (научные вопросы уровня аспирантуры), 80,6% на SWE-Bench Verified (исправление ошибок в настоящих программных проектах) и 85,9% на BrowseComp (поиск сложной информации в интернете). По большинству тестов из этого списка она обходит предшественницу.
Google рекомендует модель для агентных задач, когда модель сама выполняет многошаговую работу с инструментами. Ещё её берут для сложного программирования, разработки алгоритмов и анализа больших объёмов разнородных данных: длинных документов, видео, записей. В анонсе компания показала примеры: анимированная SVG-графика по текстовому описанию, живая панель с открытыми данными о космических полётах, интерактивные 3D-сцены и сайты по мотивам литературных произведений.
Модель вышла как предварительная версия: Google обещала довести её до стабильного выпуска после проверки, прежде всего в сложных агентных процессах. Поэтому поведение в API может меняться. Известные ограничения, по словам Google, те же, что у Gemini 3 Pro. В оценках безопасности у модели небольшой откат в ответах на запросы с изображениями. Модель заметно дороже большинства в каталоге, а с лета 2026 года в линейке Gemini вышли более новые версии.
источники:Анонс Gemini 3.1 Pro в блоге Google ↗Карточка модели Gemini 3.1 Pro ↗
Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиПодробнее на английском ↗
весь рейтинг29место из 268индекс 155вероятный разброс 153–158
- DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗95,1%высокое
- LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗63,3%высокое
- Mystery Game Puzzles100 позиций из головоломочного варианта известной игры, название которой скрыто: нужно найти единственный лучший ходПодробнее на английском ↗27,3%среднее
- EBR-benchУчится ли модель на опыте: она раз за разом играет в малоизвестную карточную настольную игру Earthborne Rangers и ведёт заметкиБалл — доля из 21 игровой цели в лучшей из двух итоговых партий после тренировочных; сам по себе он не показывает, выросла ли модель.Подробнее на английском ↗14,3%
- MirrorCodeМодель с нуля воссоздаёт целую консольную программу по её поведению, документации и примерам, не видя исходного кодаПодробнее на английском ↗8,9%высокое
- FrontierMath-Tier-4-v2-PrivateЗакрытый набор самых трудных задач FrontierMath: исследовательская математика, на которую у специалистов уходят часы и дниПодробнее на английском ↗26,8%
- FrontierMath-Tiers-1-3-v2-PrivateСотни новых задач исследовательской математики от профессиональных математиков; эксперту на задачу нужны часы или дниПодробнее на английском ↗59,6%
- DeepSWE113 долгих задач по программированию в 91 открытом проекте на пяти языках; задачи написаны с нуля и не публиковалисьEpoch нашла, что примерно в 20% задач проверка отклоняет верные решения, поэтому реальный потолок заметно ниже 100%.Подробнее на английском ↗11,7%
- ExploitBenchНаписание эксплойтов для 41 реальной уязвимости движка V8 — от вызова сбоя до выполнения произвольного кодаВзлом разбит на 16 ступеней, и засчитываются промежуточные, так что балл не равен доле полностью взломанных уязвимостей.Подробнее на английском ↗26,1%
- CL-bench LifeЗадачи, которые решаются только по данным из запроса: групповые чаты, личные заметки, истории покупок и браузераПодробнее на английском ↗16,9%
- PostTrainBenchМожет ли ИИ-агент сам дообучить базовую языковую модель за 10 часов на одной видеокарте H100, без готового кода и данныхБалл — результат дообученной модели на нескольких тестах; официальные версии тех же моделей от разработчиков набирают около 51%.Подробнее на английском ↗22,0%
- CL-benchУмение выучить новое прямо из длинного текста: вымышленные законы, языки программирования, правила — и решить по ним задачиЗадача засчитывается, только если ответ проходит все проверочные критерии экспертов, поэтому даже лидеры решают около четверти.Подробнее на английском ↗20,8%
- ProofBench100 закрытых задач по математике уровня старших курсов и аспирантуры: модель пишет доказательство на Lean 4, его проверяет программаПодробнее на английском ↗26,0%
- APEX-Agents480 многошаговых рабочих задач из инвестбанкинга, консалтинга и корпоративного права: агент работает с файлами, почтой, таблицамиЗадача засчитывается, только если выполнены все пункты экспертного списка критериев; проверяет их другая модель.Подробнее на английском ↗35,3%
- Chess Puzzles100 новых шахматных задач, позиция дана текстом: нужно найти единственный лучший ход по оценке движка StockfishПодробнее на английском ↗52,7%высокое
- SimpleQA Verified1000 коротких вопросов на факты, на которые модель отвечает по памяти, без поиска в интернетеБалл — F1: учитываются и доля верных ответов, и точность там, где модель решилась ответить, так что честное «не знаю» лучше ошибки.Подробнее на английском ↗73,5%высокое
- DeepResearch Bench100 исследовательских заданий уровня аспирантуры из 22 областей: агент ищет в интернете и пишет аналитический отчёт со ссылкамиБалл — не доля верных ответов: модель-судья оценивает качество отчёта в сравнении с эталонным, отдельно проверяются ссылки.Подробнее на английском ↗47,8%высокое
- GSO-BenchУскорение реальных программ: агент получает код проекта и тест скорости и должен сделать код быстрее — не хуже, чем эксперт-программистПодробнее на английском ↗22,6%
- Terminal BenchЗадачи в командной строке по мотивам реальной работы: агент сам выполняет их в терминале, результат проверяют автотестыПодробнее на английском ↗80,2%
- ARC-AGI-2Вторая, более трудная версия головоломок на клетках: по примерам найти скрытое правило и применить его к новой картинкеНа каждое задание даётся две попытки; люди в среднем решают около 60% заданий.Подробнее на английском ↗77,1%
- METR Time HorizonsНасколько долгие для человека задачи по программированию, машинному обучению и кибербезопасности агент решает самостоятельноРезультат — не процент, а время: длительность задачи (по времени работы эксперта), которую модель решает примерно в половине случаев.Подробнее на английском ↗77,0%
- HLEHumanity's Last Exam: 2500 вопросов экспертного уровня по математике, естественным и гуманитарным наукам, ответ не найти поискомПодробнее на английском ↗43,7%
- WeirdMLНеобычные задачи по машинному обучению: модель пишет код, который на выданных данных обучает классификатор, например для распознавания фигурБалл — средняя точность обученных моделью классификаторов, а не доля решённых задач.Подробнее на английском ↗72,1%
- OTIS Mock AIME 2024-202545 олимпиадных задач по математике из пробных экзаменов AIME школы OTIS; ответ — целое число от 0 до 999Подробнее на английском ↗95,6%высокое
- BalrogМодель играет в шесть текстовых и клеточных игр, от простых головоломок до NetHack, где нужно выжить и продвинутьсяБалл — средний прогресс от 0 до 100 по всем играм; в NetHack даже лидеры продвигаются очень мало.Подробнее на английском ↗57,0%
- SimpleBenchВопросы с подвохом на здравый смысл: пространство, время, поведение людей. 213 вопросов, у каждого шесть вариантов ответаЛюди в проверке авторов набрали около 84%, а балл модели — средняя точность по пяти прогонам.Подробнее на английском ↗75,5%
- SWE-Bench verifiedНастоящие задачи из GitHub по проектам на Python: модель правит код, а тесты проверяют, решена ли проблемаПо оценке Epoch, в 5–10% задач есть ошибки, поэтому 100% недостижимы; Epoch считает результат по 484 задачам из 500.Подробнее на английском ↗75,6%
- GPQA diamond198 вопросов с выбором ответа по физике, химии и биологии уровня аспирантуры — такие, что ответ не найти поискомСлучайный выбор даёт 25%, а специалисты с учёной степенью в своей области набирают около 70%.Подробнее на английском ↗92,6%высокое
- ARC-AGIГоловоломки на цветных клетках: по паре примеров нужно понять правило преобразования картинки и применить его к новойПодробнее на английском ↗98,0%
Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.