Claude Haiku 5.5 обошла GPT-6 Luna в сводном индексе независимых тестов

Claude Haiku 5.5, младшая модель Anthropic, в сводном индексе независимой компании Artificial Analysis¹ обошла GPT-6 Luna с той же ценой, но тратит на задачу больше токенов.

Почему это важно: Anthropic почти год не обновляла Haiku, и дешёвый край рынка делили GPT-6 Luna, Gemini 3.8 Flash и GLM-5.3 Flash. Цена за токен у Haiku 5.5 такая же, как у Luna, а цена задачи — нет. По предварительному расчёту Artificial Analysis, на максимальном уровне рассуждений² задача из сводного индекса обходится Haiku 5.5 примерно в 0,21 доллара, а Luna — в 0,07.

Предыстория: 7 октября Anthropic выпустила Haiku 5.5 по цене Luna на запросах до 100 тысяч токенов. Компания предлагает ставить её субагентом при Opus 5.5 или Sonnet 5.5: старшая модель думает над задачей, младшая берёт массовую дешёвую работу — пересказы, сжатие контекста, запросы к базам данных.

В цифрах: что показали тесты Artificial Analysis:

• В сводном индексе на максимальном уровне рассуждений Haiku 5.5 набрала 43 балла против 38 у GPT-6 Luna. Более дорогая Claude Sonnet 5.5 впереди на 13 баллов.
• В Terminal-Bench 4.0³ модель решила 33% задач, GPT-6 Luna — 13%, а Haiku 4.5 не справилась ни с одной.
• Если верного ответа на вопрос модель не знает, в 40% случаев она выдумывает его вместо «не знаю». У Luna этот показатель — 77%.

Но: у модели есть слабые места:

• На вопросы на знания она верно ответила в 36% случаев против 44% у Luna — отчасти потому, что чаще признаётся, что не знает.
• В тесте на автоматизацию AutomationBench-AA у неё 35% против 53–60% у Luna, Gemini 3.8 Flash и GLM-5.3 Flash. Причина — ошибка в защитных механизмах, внесённая перед выпуском: из-за неё модель слишком часто отказывается. Anthropic эту ошибку исправляет.
• На максимальном уровне рассуждений она пишет около 162 тысяч токенов на задачу индекса, втрое больше Luna. Даже при равном с Luna балле Haiku 5.5 расходует больше токенов.

Детали: по данным Cognition, разработчика агента для программирования Devin, Haiku 5.5 решила 58,4% задач теста FrontierCode 1.1. Это больше, чем у Claude Sonnet 5, причём задача обходится примерно в восемь раз дешевле.

Если шире: в тот же день Anthropic объявила и другие перемены:

• Чтение из кэша у Sonnet 5.5 подешевело вдвое, до 0,10 доллара за миллион токенов. По оценке компании, долгая агентная работа на этой модели станет дешевле примерно на 20%.
• Подписки Max 5x и Max 20x теперь каждый месяц дают 100 и 200 долларов на оплату запросов к API платформы Claude. Команды на тарифе Team получают до 500 долларов на всех, тратить эти деньги можно на любую модель.
• В наборы для разработчиков Claude SDK на Python и TypeScript встроили управление компьютером и браузером: цикл кликов и нажатий клавиш ведёт сам SDK, писать его разработчикам больше не нужно.

Что говорят: разработчик и видеоблогер Тео Браун похвалил ступенчатую цену: на запросах до 100 тысяч токенов модель стоит впятеро дешевле, чем на более длинных, и это, по его словам, «очень ясно показывает, для чего эта модель». Ведущий подкаста ThursdAI Алекс Волков усомнился, нужна ли теперь Sonnet — средняя модель линейки: «Sonnet имела смысл, когда Opus была дорогой».

Что дальше: Artificial Analysis перезапустит тест на автоматизацию, когда Anthropic исправит ошибку, и ждёт, что балл вырастет. Стоимость одной задачи компания посчитает позже: пятикратную надбавку за запросы длиннее 100 тысяч токенов её расчёты пока не учитывают.

Подробнее: о расчётах разработчика и блогера Саймона Уиллисона — «Уиллисон нашёл у дешёвой Claude Haiku 5.5 скрытую надбавку к цене»