ИИтак

← Назад

Новая GPT-6.2 Astra от OpenAI стала второй в независимом рейтинге, но отзывы о ней разошлись

Новая GPT-6.2 Astra от OpenAI в независимом рейтинге уступила лишь Fable 5.2 от Anthropic, но отзывы о ней разошлись; младшая GPT-6.2 Sol догнала сентябрьскую GPT-6 Astra, а задача на Sol стоит около 15% того, что на старой Astra.

Результаты теста FrontierCode 2.0 Изображение: OpenAI

В тестах Artificial Analysis1 новая GPT-6.2 Sol от OpenAI набирает столько же баллов, сколько сентябрьская GPT-6 Astra, а задача из этих тестов обходится на Sol примерно в 15% того, что на Astra. Старшая GPT-6.2 Astra в сторонних тестах держится рядом с лучшими моделями, но отзывы тех, кто с ней работал, резко разошлись.

самая сильная модель, по оценке рассылки Latent Space, по-прежнему у Anthropic, но тому, кто платит за работу моделей, больше всего баллов в тестах на каждый потраченный доллар дают модели OpenAI. В сводном индексе Artificial Analysis Astra набрала 62 балла, Fable 5.2 от Anthropic — 65. Основной моделью для повседневной работы, по мнению авторов рассылки, скорее всего, станет Sol.

OpenAI выпустила обе модели 17 ноября, за два дня до ожидаемого начала торгов акциями Anthropic. Тогда же компания привела собственные тесты: в двух из них, на рабочие и научные задания, новая Astra обошла GPT-6 Astra, а задания на новой модели обходились менее чем в треть того, что на прежней. В тот же день модели появились в ChatGPT Work — версии ChatGPT для офисной работы — на тарифах Plus, Pro, Business, Enterprise и Edu, а также в агенте для программирования Codex; в Enterprise и Edu их сначала должен включить администратор. Разработчики могут подключать модели к своим приложениям через API.

длину текста модели считают в токенах — кусочках слов. В окно контекста — весь текст, который модель охватывает за раз вместе со своим ответом, — у обеих помещается 1 050 000 токенов: на вход до 922 тыс., на ответ до 128 тыс. Цены в API за миллион токенов у Sol остались такими же, как у предшественницы. Если начало запроса повторяет недавний — например, ту же длинную инструкцию, — эта часть берётся из кэша, то есть из сохранённой копии, и стоит дешевле:

ТокеныAstraSol
Входные$8$2
Входные из кэша$0,40$0,10
Выходные$40$10

Это цены для запросов до 272 тыс. входных токенов; если на входе больше, весь запрос дороже: вход и кэш — вдвое, ответ — в полтора раза.

в прикладных тестах других компаний и исследователей Astra не раз оказалась первой:

  • Исследовательская группа Epoch AI проверила решения Astra в Lean — системе, где правильность доказательства подтверждает программа. Верными оказались решения 7 из 68 задач набора FrontierMath Erdős, а прежний лучший результат — три задачи.
  • В тесте Mercor2 на долгие инженерные задачи OpenWorldEngineer Astra набрала 67,2%, Fable 5.2 — 54,6%.
  • В тесте Vals3 Vibe Code Bench модель по очереди получает до десяти просьб доработать готовое веб-приложение и не должна сломать то, что уже работало. Astra заняла в нём первое место, Sol — третье.
  • В тесте Perplexity WANDR исследовательский агент собирает в интернете большие подборки сведений, и каждое его утверждение сверяют с источником, на который он ссылается. Astra набрала 0,783 балла, Sol — 0,746. Зато задача на Sol стоила около $2,65, а на Astra — около $12,54.

в сентябре сторонние тесты показали, что GPT-6.1 Sol почти догнала GPT-6 Astra: в поиске спрятанных в коде ошибок она нашла 44 против 45 и обошлась впятеро дешевле.

Astra — первая модель OpenAI для внешних пользователей, которой компания сама присвоила высокий уровень в категории «самосовершенствование ИИ». Такие оценки OpenAI выставляет по Preparedness Framework, своим правилам проверки рисков перед выпуском. Здесь оценивают, насколько модель ускоряет исследования ИИ, в том числе те, что делают модели сильнее: тогда у исследователей может остаться меньше времени разобраться в новых способностях и проверить, работают ли защитные меры. Поэтому OpenAI проверяет важные результаты таких исследований и следит, не совершает ли модель вредных действий. Индекс RSI компании Vals меряет ту же способность по-своему: модель сама решает исследовательские задачи вроде улучшения программы, которая обучает небольшую модель. GPT-6 Astra набрала в нём 27,07%, GPT-6.2 Astra — 29,01%. Уровню людей, с которыми сравнивают модели, в нём соответствует 50%.

Мэтт Шумер, глава компании OthersideAI, после нескольких недель проверки назвал новые модели «по сути непригодными». В его связке Astra работала субагентом — исполнителем, которому главный агент раздаёт подзадачи, а главными были агенты на моделях Anthropic Claude Opus и Fable. По словам Шумера, большую часть работы Astra они отклоняли. Предприниматель Пьетро Скирано тоже столкнулся с проблемами, но многие из них объяснил обвязкой — программой, через которую модель получает задачи и инструменты. Питер Гостев из Arena, площадки, где пользователи вслепую сравнивают модели, проверил Astra и Fable на заданиях, где модель кодом рисует картинки, и отдельно выделил павлина, которого Astra нарисовала в векторном формате SVG.

Авторы Latent Space, собравшие эти отзывы, считают часть критики преувеличенной: блогеры, по их словам, привыкли каждую модель то превозносить, то объявлять худшей в истории. Но некоторые претензии они признают справедливыми. По их словам, у Astra заметны и «откровенно причудливы» следы обучения с подкреплением — побочные привычки, которые модель усваивает на тренировке, где её поощряют за нужный результат; примеров авторы не приводят. Сами авторы при этом продолжают автоматизировать с её помощью свою работу.

← Все новости