модель · Google · вышла 21 июля
Gemini 3.6 Flash
Рабочая модель Google для агентов, программирования и разбора документов, которую уже сменили Gemini 3.7 и 3.8 Flash
О модели
Gemini 3.6 Flash — «рабочая лошадка» линейки Gemini: так Google называет модель, которую ставят по умолчанию в приложения и агентов, работающих в рабочей среде. Она пришла на смену Gemini 3.5 Flash. По карточке модели, архитектура и данные для обучения остались от 3.5 Flash, а изменения пришлись на дообучение. Модель принимает текст, картинки, звук, видео и PDF, а перед ответом рассуждает.
Главное отличие от 3.5 Flash, по словам Google, — экономность. Модель тратит примерно на 17% меньше токенов на ответ и решает многошаговые задачи за меньшее число шагов рассуждения и вызовов инструментов. По замерам лаборатории, результат в бенчмарке DeepSWE вырос с 37 до 49%, в OSWorld-Verified (управление компьютером) — с 78,4 до 83%, в MLE Bench (задачи по машинному обучению) — с 49,7 до 63,9%. В карточке модели также указаны 58,7% в SWE-Bench Pro и 78% в Terminal-Bench 2.1. Через три недели вышла Gemini 3.7 Flash, а в сентябре — 3.8 Flash, так что сейчас 3.6 уже не самая новая модель в линейке.
Google предлагает её для агентов и программирования: переноса кода на новые версии, генерации веб-страниц. Ещё её берут для разбора документов и финансовых отчётов, чтения графиков и анализа видео. На ней по умолчанию работает сервис Managed Agents в Gemini API. В компании утверждают, что код у неё стал чище: реже не компилируется и реже требует переделок.
Ограничения в карточке модели такие: она может галлюцинировать, то есть уверенно выдавать выдумку, иногда не укладывается в отведённое время, а знания в части областей заканчиваются январём 2025 года. На длинных текстах точность падает: при 128 тысячах токенов модель находит нужное в 91,8% случаев, а при миллионе — в 54%. Разработчикам стоит учесть, что привычные настройки случайности ответа (temperature, top-K, top-P) и штрафы за повторы она не принимает. Вместо них глубину рассуждений задают параметром thinking_level.
источники:Анонс Gemini 3.6 Flash в блоге Google ↗Карточка модели от Google DeepMind ↗Документация Gemini API ↗
Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиПодробнее на английском ↗
весь рейтинг32место из 268индекс 154вероятный разброс 153–156
- DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗92,5%высокое
- LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗52,9%высокое
- Mystery Game Puzzles100 позиций из головоломочного варианта известной игры, название которой скрыто: нужно найти единственный лучший ходПодробнее на английском ↗22,9%
- FrontierMath-Tier-4-v2-PrivateЗакрытый набор самых трудных задач FrontierMath: исследовательская математика, на которую у специалистов уходят часы и дниПодробнее на английском ↗22,0%высокое
- FrontierMath-Tiers-1-3-v2-PrivateСотни новых задач исследовательской математики от профессиональных математиков; эксперту на задачу нужны часы или дниПодробнее на английском ↗58,9%высокое
- FrontierCodeМодель исправляет проблему в открытом проекте, а правку оценивают по тому, приняли бы её сопровождающие проектаБалл выставляют по критериям сопровождающих и усредняют по пяти запускам; если нарушен хотя бы один обязательный критерий, за задачу ставят ноль.Подробнее на английском ↗34,4%
- DeepSWE113 долгих задач по программированию в 91 открытом проекте на пяти языках; задачи написаны с нуля и не публиковалисьEpoch нашла, что примерно в 20% задач проверка отклоняет верные решения, поэтому реальный потолок заметно ниже 100%.Подробнее на английском ↗46,7%высокое
- ProofBench100 закрытых задач по математике уровня старших курсов и аспирантуры: модель пишет доказательство на Lean 4, его проверяет программаПодробнее на английском ↗36,0%
- APEX-Agents480 многошаговых рабочих задач из инвестбанкинга, консалтинга и корпоративного права: агент работает с файлами, почтой, таблицамиЗадача засчитывается, только если выполнены все пункты экспертного списка критериев; проверяет их другая модель.Подробнее на английском ↗46,9%
- Chess Puzzles100 новых шахматных задач, позиция дана текстом: нужно найти единственный лучший ход по оценке движка StockfishПодробнее на английском ↗40,0%
- SimpleQA Verified1000 коротких вопросов на факты, на которые модель отвечает по памяти, без поиска в интернетеБалл — F1: учитываются и доля верных ответов, и точность там, где модель решилась ответить, так что честное «не знаю» лучше ошибки.Подробнее на английском ↗66,2%высокое
- ARC-AGI-2Вторая, более трудная версия головоломок на клетках: по примерам найти скрытое правило и применить его к новой картинкеНа каждое задание даётся две попытки; люди в среднем решают около 60% заданий.Подробнее на английском ↗60,4%высокое
- WeirdMLНеобычные задачи по машинному обучению: модель пишет код, который на выданных данных обучает классификатор, например для распознавания фигурБалл — средняя точность обученных моделью классификаторов, а не доля решённых задач.Подробнее на английском ↗56,1%высокое
- OTIS Mock AIME 2024-202545 олимпиадных задач по математике из пробных экзаменов AIME школы OTIS; ответ — целое число от 0 до 999Подробнее на английском ↗94,2%
- GPQA diamond198 вопросов с выбором ответа по физике, химии и биологии уровня аспирантуры — такие, что ответ не найти поискомСлучайный выбор даёт 25%, а специалисты с учёной степенью в своей области набирают около 70%.Подробнее на английском ↗92,2%
- ARC-AGIГоловоломки на цветных клетках: по паре примеров нужно понять правило преобразования картинки и применить его к новойПодробнее на английском ↗91,2%высокое
Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.