Новая GPT-6.2 Astra от OpenAI стала второй в независимом рейтинге, но отзывы о ней разошлись
Новая GPT-6.2 Astra от OpenAI в независимом рейтинге уступила лишь Fable 5.2 от Anthropic, но отзывы о ней разошлись; младшая GPT-6.2 Sol догнала сентябрьскую GPT-6 Astra, а задача на Sol стоит около 15% того, что на старой Astra.

В тестах Artificial Analysis1 новая GPT-6.2 Sol от OpenAI набирает столько же баллов, сколько сентябрьская GPT-6 Astra, а задача из этих тестов обходится на Sol примерно в 15% того, что на Astra. Старшая GPT-6.2 Astra в сторонних тестах держится рядом с лучшими моделями, но отзывы тех, кто с ней работал, резко разошлись.
Почему это важно: самая сильная модель, по оценке рассылки Latent Space, по-прежнему у Anthropic, но тому, кто платит за работу моделей, больше всего баллов в тестах на каждый потраченный доллар дают модели OpenAI. В сводном индексе Artificial Analysis Astra набрала 62 балла, Fable 5.2 от Anthropic — 65. Основной моделью для повседневной работы, по мнению авторов рассылки, скорее всего, станет Sol.
Предыстория: OpenAI выпустила обе модели 17 ноября, за два дня до ожидаемого начала торгов акциями Anthropic. Тогда же компания привела собственные тесты: в двух из них, на рабочие и научные задания, новая Astra обошла GPT-6 Astra, а задания на новой модели обходились менее чем в треть того, что на прежней. В тот же день модели появились в ChatGPT Work — версии ChatGPT для офисной работы — на тарифах Plus, Pro, Business, Enterprise и Edu, а также в агенте для программирования Codex; в Enterprise и Edu их сначала должен включить администратор. Разработчики могут подключать модели к своим приложениям через API.
В цифрах: длину текста модели считают в токенах — кусочках слов. В окно контекста — весь текст, который модель охватывает за раз вместе со своим ответом, — у обеих помещается 1 050 000 токенов: на вход до 922 тыс., на ответ до 128 тыс. Цены в API за миллион токенов у Sol остались такими же, как у предшественницы. Если начало запроса повторяет недавний — например, ту же длинную инструкцию, — эта часть берётся из кэша, то есть из сохранённой копии, и стоит дешевле:
| Токены | Astra | Sol |
|---|---|---|
| Входные | $8 | $2 |
| Входные из кэша | $0,40 | $0,10 |
| Выходные | $40 | $10 |
Это цены для запросов до 272 тыс. входных токенов; если на входе больше, весь запрос дороже: вход и кэш — вдвое, ответ — в полтора раза.
Детали: в прикладных тестах других компаний и исследователей Astra не раз оказалась первой:
- Исследовательская группа Epoch AI проверила решения Astra в Lean — системе, где правильность доказательства подтверждает программа. Верными оказались решения 7 из 68 задач набора FrontierMath Erdős, а прежний лучший результат — три задачи.
- В тесте Mercor2 на долгие инженерные задачи OpenWorldEngineer Astra набрала 67,2%, Fable 5.2 — 54,6%.
- В тесте Vals3 Vibe Code Bench модель по очереди получает до десяти просьб доработать готовое веб-приложение и не должна сломать то, что уже работало. Astra заняла в нём первое место, Sol — третье.
- В тесте Perplexity WANDR исследовательский агент собирает в интернете большие подборки сведений, и каждое его утверждение сверяют с источником, на который он ссылается. Astra набрала 0,783 балла, Sol — 0,746. Зато задача на Sol стоила около $2,65, а на Astra — около $12,54.
Так уже было: в сентябре сторонние тесты показали, что GPT-6.1 Sol почти догнала GPT-6 Astra: в поиске спрятанных в коде ошибок она нашла 44 против 45 и обошлась впятеро дешевле.
Интрига: Astra — первая модель OpenAI для внешних пользователей, которой компания сама присвоила высокий уровень в категории «самосовершенствование ИИ». Такие оценки OpenAI выставляет по Preparedness Framework, своим правилам проверки рисков перед выпуском. Здесь оценивают, насколько модель ускоряет исследования ИИ, в том числе те, что делают модели сильнее: тогда у исследователей может остаться меньше времени разобраться в новых способностях и проверить, работают ли защитные меры. Поэтому OpenAI проверяет важные результаты таких исследований и следит, не совершает ли модель вредных действий. Индекс RSI компании Vals меряет ту же способность по-своему: модель сама решает исследовательские задачи вроде улучшения программы, которая обучает небольшую модель. GPT-6 Astra набрала в нём 27,07%, GPT-6.2 Astra — 29,01%. Уровню людей, с которыми сравнивают модели, в нём соответствует 50%.
Что говорят: Мэтт Шумер, глава компании OthersideAI, после нескольких недель проверки назвал новые модели «по сути непригодными». В его связке Astra работала субагентом — исполнителем, которому главный агент раздаёт подзадачи, а главными были агенты на моделях Anthropic Claude Opus и Fable. По словам Шумера, большую часть работы Astra они отклоняли. Предприниматель Пьетро Скирано тоже столкнулся с проблемами, но многие из них объяснил обвязкой — программой, через которую модель получает задачи и инструменты. Питер Гостев из Arena, площадки, где пользователи вслепую сравнивают модели, проверил Astra и Fable на заданиях, где модель кодом рисует картинки, и отдельно выделил павлина, которого Astra нарисовала в векторном формате SVG.
Авторы Latent Space, собравшие эти отзывы, считают часть критики преувеличенной: блогеры, по их словам, привыкли каждую модель то превозносить, то объявлять худшей в истории. Но некоторые претензии они признают справедливыми. По их словам, у Astra заметны и «откровенно причудливы» следы обучения с подкреплением — побочные привычки, которые модель усваивает на тренировке, где её поощряют за нужный результат; примеров авторы не приводят. Сами авторы при этом продолжают автоматизировать с её помощью свою работу.