ИИтак

← Назад

Модель · OpenAI

o3

Устаревшая модель рассуждений OpenAI для математики, программирования и разбора изображений, её сменила GPT-5

вышла 16 апреля 2025

Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиШкала условная (Claude 3.5 Sonnet = 130, GPT-5 = 150); интервал — 90-процентный диапазон оценки, и модели с перекрывающимися интервалами надёжно не различаются.Подробнее на английском ↗

60 место из 266
индекс 147, вероятный разброс 145–149 · весь рейтинг →

БенчмаркРезультатОбычно — доля заданий теста, которые модель решила. У некоторых тестов свой счёт; как он устроен, сказано в пояснении к названию тестаУсилиеНасколько долго модель рассуждала перед ответом, когда её проверяли: низкое, среднее, высокое, очень высокое, максимальное. Чем выше усилие, тем обычно выше результат — и тем дольше и дороже ответ. Показан лучший результат и усилие, на котором он получен
DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗ 74,7% высокое
LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗ 46,7% высокое
Mystery Game Puzzles100 позиций из головоломочного варианта известной игры, название которой скрыто: нужно найти единственный лучший ходПодробнее на английском ↗ 21,8% высокое
FrontierMath-Tiers-1-3-v2-PrivateСотни новых задач исследовательской математики от профессиональных математиков; эксперту на задачу нужны часы или дниПодробнее на английском ↗ 33,3% высокое
CL-benchУмение выучить новое прямо из длинного текста: вымышленные законы, языки программирования, правила — и решить по ним задачиЗадача засчитывается, только если ответ проходит все проверочные критерии экспертов, поэтому даже лидеры решают около четверти.Подробнее на английском ↗ 17,8% высокое
APEX-Agents480 многошаговых рабочих задач из инвестбанкинга, консалтинга и корпоративного права: агент работает с файлами, почтой, таблицамиЗадача засчитывается, только если выполнены все пункты экспертного списка критериев; проверяет их другая модель.Подробнее на английском ↗ 17,2% высокое
Chess Puzzles100 новых шахматных задач, позиция дана текстом: нужно найти единственный лучший ход по оценке движка StockfishПодробнее на английском ↗ 34,8% среднее
GDPvalРеальные рабочие задачи из 44 профессий — юридические записки, таблицы, слайды, планы ухода; результат оценивают экспертыЧисло — доля задач, где эксперты сочли работу модели не хуже работы профессионала; 50% означает паритет с человеком.Подробнее на английском ↗ 30,8% среднее
SimpleQA Verified1000 коротких вопросов на факты, на которые модель отвечает по памяти, без поиска в интернетеБалл — F1: учитываются и доля верных ответов, и точность там, где модель решилась ответить, так что честное «не знаю» лучше ошибки.Подробнее на английском ↗ 49,4% высокое
FrontierMath-Tier-4-2025-07-01-PrivateСамый сложный уровень FrontierMath: исследовательские задачи по математике, на которые у математика уходят часы или дниРезультат посчитан на закрытом наборе задач версии от июля 2025 года; в 2026 году вышла исправленная версия, и числа двух версий не сравнимы.Подробнее на английском ↗ 3,5% высокое
DeepResearch Bench100 исследовательских заданий уровня аспирантуры из 22 областей: агент ищет в интернете и пишет аналитический отчёт со ссылкамиБалл — не доля верных ответов: модель-судья оценивает качество отчёта в сравнении с эталонным, отдельно проверяются ссылки.Подробнее на английском ↗ 45,2% среднее
GSO-BenchУскорение реальных программ: агент получает код проекта и тест скорости и должен сделать код быстрее — не хуже, чем эксперт-программистПодробнее на английском ↗ 8,8% высокое
CadEvalПо текстовому описанию написать программу для CAD (в стиле OpenSCAD), которая строит 3D-деталь нужной формы и размеровПодробнее на английском ↗ 74,0% среднее
ARC-AGI-2Вторая, более трудная версия головоломок на клетках: по примерам найти скрытое правило и применить его к новой картинкеНа каждое задание даётся две попытки; люди в среднем решают около 60% заданий.Подробнее на английском ↗ 6,5% высокое
METR Time HorizonsНасколько долгие для человека задачи по программированию, машинному обучению и кибербезопасности агент решает самостоятельноРезультат — не процент, а время: длительность задачи (по времени работы эксперта), которую модель решает примерно в половине случаев.Подробнее на английском ↗ 65,4%
GeoBenchПо фотографии улицы, как в игре GeoGuessr, модель должна угадать страну и точные координаты местаРезультат — очки, а не проценты: до 5000 за раунд, и чем дальше догадка от настоящего места, тем меньше очков.Подробнее на английском ↗ 74,0% высокое
Fiction.LiveBenchВопросы по длинным художественным текстам: понять мотивы героев, порядок событий и сделать выводы из всего сюжетаРезультат зависит от длины текста: с ростом объёма точность обычно падает, поэтому сравнивать стоит при одинаковой длине.Подробнее на английском ↗ 88,9% среднее
Lech Mazur WritingКороткие рассказы, в которые надо органично вплести десять заданных элементов: персонажа, предмет, место, мотив, тон и другиеБалл относительный: модели-судьи сравнивают рассказы попарно, ноль — примерно середина сравниваемых моделей, а не процент.Подробнее на английском ↗ 83,9% среднее
VPCTПо картинке с горками и препятствиями модель должна предсказать, в какое из трёх вёдер упадёт шарикВёдер три, поэтому наугад можно набрать около 33%; люди в проверке решили все задачи.Подробнее на английском ↗ 28,0% среднее
HLEHumanity's Last Exam: 2500 вопросов экспертного уровня по математике, естественным и гуманитарным наукам, ответ не найти поискомПодробнее на английском ↗ 16,3% высокое
WeirdMLНеобычные задачи по машинному обучению: модель пишет код, который на выданных данных обучает классификатор, например для распознавания фигурБалл — средняя точность обученных моделью классификаторов, а не доля решённых задач.Подробнее на английском ↗ 52,4% высокое
Aider polyglot225 трудных задач по программированию с Exercism на C++, Go, Java, JavaScript, Python и Rust; решение проверяют тестыДаются две попытки: после неудачи модель видит результаты тестов и исправляет код; засчитывается итог второй попытки.Подробнее на английском ↗ 81,3% среднее
OTIS Mock AIME 2024-202545 олимпиадных задач по математике из пробных экзаменов AIME школы OTIS; ответ — целое число от 0 до 999Подробнее на английском ↗ 84,4% среднее
SimpleBenchВопросы с подвохом на здравый смысл: пространство, время, поведение людей. 213 вопросов, у каждого шесть вариантов ответаЛюди в проверке авторов набрали около 84%, а балл модели — средняя точность по пяти прогонам.Подробнее на английском ↗ 43,7% высокое
SWE-Bench verifiedНастоящие задачи из GitHub по проектам на Python: модель правит код, а тесты проверяют, решена ли проблемаПо оценке Epoch, в 5–10% задач есть ошибки, поэтому 100% недостижимы; Epoch считает результат по 484 задачам из 500.Подробнее на английском ↗ 62,3% среднее
OSWorldАгент выполняет задачи на настоящем компьютере — в Ubuntu, Windows и macOS, в обычных программах и браузере, иногда в нескольких сразуЛюди в этом тесте справляются примерно с 72% задач, так что результат около этого уровня уже соответствует человеческому.Подробнее на английском ↗ 23,0% среднее
GPQA diamond198 вопросов с выбором ответа по физике, химии и биологии уровня аспирантуры — такие, что ответ не найти поискомСлучайный выбор даёт 25%, а специалисты с учёной степенью в своей области набирают около 70%.Подробнее на английском ↗ 75,8% среднее
MATH level 5Самые трудные задачи (5-й уровень) из набора MATH — задачи американских школьных олимпиад AMC 10, AMC 12 и AIMEТест близок к насыщению: у сильных моделей результаты почти одинаковые и высокие, разница в несколько пунктов мало что значит.Подробнее на английском ↗ 97,8% высокое
ARC-AGIГоловоломки на цветных клетках: по паре примеров нужно понять правило преобразования картинки и применить его к новойПодробнее на английском ↗ 60,8% высокое

Характеристики

Вышла
16 апреля 2025
КонтекстСколько текста модель учитывает за один запрос: вопрос, приложенные документы и её собственный ответ вместе. Токен — кусок слова; слово обычно занимает один–три токена
200 тыс. токенов
Длина ответаСколько токенов модель может выдать за один ответ, вместе со скрытыми рассуждениями, если они есть
до 100 тыс. токенов
Цена входаСколько стоит миллион токенов, отправленных модели: вопрос, документы, вся история переписки
$2 за миллион токенов
Вход из кэшаЦена входа для повторяющегося начала запроса, которое лаборатория уже сохранила у себя. В длинной переписке и у агентов это большая часть входа — и в разы дешевле
$0,50 за миллион токенов
Цена ответаСколько стоит миллион токенов, написанных моделью, — включая скрытые рассуждения
$8 за миллион токенов
Понимает
текст, изображения, PDF
Отвечает
текст
РассужденияПеред ответом модель рассуждает про себя: медленнее и дороже, зато точнее на трудных задачах
да
Вызов инструментовМодель сама просит программу выполнить действие — поиск, запуск кода, запрос к сервису — и продолжает с результатом. На этом держатся агенты
да
ВесаОткрытые — файлы модели можно скачать и запустить на своих серверах. Закрытые — доступ только через сервис лаборатории
закрытые
Знания до
май 2024
Идентификатор в API
o3

Что это за модель

o3 — модель рассуждений из линейки o (o-series) от OpenAI. Прежде чем ответить, она думает: строит скрытую цепочку рассуждений. На момент выхода компания называла её своей самой сильной моделью рассуждений. OpenAI выпустила её вместе с младшей и более дешёвой o4-mini. В документации лаборатория пишет, что o3 задаёт новую планку в математике, естественных науках, программировании и задачах с изображениями.

Главное отличие от o1 — работа с инструментами прямо во время рассуждения. Прежние модели линейки думали только «про себя». o3 может по ходу решения искать в интернете, запускать код на Python и разбирать файлы, а потом проверять полученное и уточнять ответ. Картинки она тоже использует внутри рассуждения: может, например, обрезать или увеличить фрагмент снимка, схемы или графика. По оценкам внешних экспертов, которые приводит OpenAI, на сложных практических задачах o3 допускает на 20% меньше серьёзных ошибок, чем o1. Особенно заметна разница в программировании, бизнес-консалтинге и генерации идей. Компания также заявляла о лучших на тот момент результатах в бенчмарках Codeforces, SWE-bench и MMMU.

o3 берут для задач, где нужно несколько шагов анализа: трудной математики, программирования, научных вопросов, технических текстов, разбора диаграмм и документов. Через API она поддерживает вызов функций, структурированные ответы и поиск по файлам.

Модель заметно дороже медианы каталога и отвечает медленнее обычных чат-моделей: время уходит на рассуждения. В системной карте OpenAI признала, что в тесте PersonQA на знание фактов о людях o3 выдумывала ответ в 33% случаев. Это примерно вдвое чаще, чем o1. Лаборатория объясняет это тем, что модель делает больше утверждений — и верных, и ложных. Сейчас OpenAI считает o3 устаревшей и советует переходить на GPT-5 и более новые модели.

Источники: Документация o3 для разработчиков, Анонс o3 и o4-mini

Того же уровня по индексу Epoch

Новости о модели

  1. 01

    Железнодорожная настолка подтянула модель в финансах — но только ту, что играла как агент

    Latent Space

  2. 02

    Детская больница Филадельфии моделирует сердца детей на открытых ИИ-инструментах NVIDIA

    NVIDIA

все 2 новости о o3 →

Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).