модель · Anthropic · вышла 1 сентября
Claude Fable 5.1
Флагманская общедоступная модель Anthropic для программирования, долгих агентных задач и научной работы
О модели
Claude Fable 5.1 — старшая модель Anthropic, открытая для всех пользователей. Одновременно с ней вышла Claude Mythos 5.1. По словам компании, это одна и та же модель, разница только в защитных мерах. Fable доступна всем. Mythos с более мягкими ограничениями получают только проверенные специалисты по кибербезопасности и наукам о жизни через специальные программы. Глубину рассуждений можно выбирать: от низкой ступени до максимальной. В Claude Code по умолчанию стоит высокая, в чате Claude.ai — средняя.
По замерам Anthropic, на низкой и средней ступени модель работает не хуже прошлой Fable 5, а на высоких заметно её обгоняет. На Terminal-Bench-Science 0.1, где проверяют агентную научную работу, она набирает 52,6% против 24,7% у предшественницы. На Terminal-Bench 4.0 (агентное программирование) — 55,8% против 42,0%. На Humanity's Last Exam без инструментов — 60,9% против 57,8%. Ещё компания снизила цену чтения из кэша — повторной подачи уже сохранённого контекста — на 75%. Агенты перечитывают один и тот же контекст десятки раз, поэтому, по оценке Anthropic, на обычных задачах работа с моделью выходит примерно на четверть дешевле, чем с Fable 5, а на сложных агентных — до 45%. С Opus 5, по словам компании, она на большинстве тестов наравне или сильнее и при этом обходится дешевле.
Её берут для долгой самостоятельной работы: многочасовых сессий с инструментами, отладки, разбора больших массивов документов, управления компьютером. Партнёры с ранним доступом рассказывают, как модель нашла редкие сбои, которые инженеры годами упускали, и 38 часов без присмотра вела исследование по машинному обучению. Anthropic приводит и научные примеры: проектирование белков, которые связываются с мишенью, карты рельефа Венеры по радарным данным тридцатилетней давности, ускорение моделей для геномики в 2,5 раза.
Ограничители в новой версии срабатывают точнее. Ложных срабатываний на безобидные вопросы по медицине и школьной биологии на 85% меньше, по кибербезопасности — примерно на 60% меньше. Искать уязвимости теперь можно, но пентесты (проверки защиты атакой) и написание эксплойтов модель по-прежнему отправляет к линейке Opus. Anthropic признаёт, что её проверки безопасности пока плохо охватывают работу с очень длинным контекстом и сценарии с несколькими агентами. Веса закрыты. Модель доступна через API и облака Amazon, Google и Microsoft. По требованиям европейского закона об ИИ в её ответы встроен невидимый водяной знак.
источники:Анонс Claude Fable 5.1 и Mythos 5.1 ↗
Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиПодробнее на английском ↗
весь рейтинг2место из 268индекс 165вероятный разброс 162–170
- DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗96,0%среднее
- LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗77,0%среднее
- Mystery Game Puzzles100 позиций из головоломочного варианта известной игры, название которой скрыто: нужно найти единственный лучший ходПодробнее на английском ↗53,7%максимальное
- EBR-benchУчится ли модель на опыте: она раз за разом играет в малоизвестную карточную настольную игру Earthborne Rangers и ведёт заметкиБалл — доля из 21 игровой цели в лучшей из двух итоговых партий после тренировочных; сам по себе он не показывает, выросла ли модель.Подробнее на английском ↗57,1%максимальное
- MirrorCodeМодель с нуля воссоздаёт целую консольную программу по её поведению, документации и примерам, не видя исходного кодаПодробнее на английском ↗73,3%высокое
- FrontierMath-Tier-4-v2-PrivateЗакрытый набор самых трудных задач FrontierMath: исследовательская математика, на которую у специалистов уходят часы и дниПодробнее на английском ↗87,8%максимальное
- FrontierMath-Tiers-1-3-v2-PrivateСотни новых задач исследовательской математики от профессиональных математиков; эксперту на задачу нужны часы или дниПодробнее на английском ↗90,2%максимальное
- FrontierCodeМодель исправляет проблему в открытом проекте, а правку оценивают по тому, приняли бы её сопровождающие проектаБалл выставляют по критериям сопровождающих и усредняют по пяти запускам; если нарушен хотя бы один обязательный критерий, за задачу ставят ноль.Подробнее на английском ↗50,9%среднее
- ProofBench100 закрытых задач по математике уровня старших курсов и аспирантуры: модель пишет доказательство на Lean 4, его проверяет программаПодробнее на английском ↗100,0%максимальное
- APEX-Agents480 многошаговых рабочих задач из инвестбанкинга, консалтинга и корпоративного права: агент работает с файлами, почтой, таблицамиЗадача засчитывается, только если выполнены все пункты экспертного списка критериев; проверяет их другая модель.Подробнее на английском ↗68,6%
- Chess Puzzles100 новых шахматных задач, позиция дана текстом: нужно найти единственный лучший ход по оценке движка StockfishПодробнее на английском ↗44,2%максимальное
- Remote Labor IndexНастоящие заказы с фриланс-площадок — дизайн, архитектура, анализ данных, программирование — выполняемые агентом целикомЧисло — доля заказов, выполненных так, что заказчик принял бы работу; даже у лидеров это немного.Подробнее на английском ↗17,9%
- SimpleQA Verified1000 коротких вопросов на факты, на которые модель отвечает по памяти, без поиска в интернетеБалл — F1: учитываются и доля верных ответов, и точность там, где модель решилась ответить, так что честное «не знаю» лучше ошибки.Подробнее на английском ↗70,8%максимальное
- ARC-AGI-2Вторая, более трудная версия головоломок на клетках: по примерам найти скрытое правило и применить его к новой картинкеНа каждое задание даётся две попытки; люди в среднем решают около 60% заданий.Подробнее на английском ↗90,0%максимальное
- HLEHumanity's Last Exam: 2500 вопросов экспертного уровня по математике, естественным и гуманитарным наукам, ответ не найти поискомПодробнее на английском ↗43,8%очень высокое
- WeirdMLНеобычные задачи по машинному обучению: модель пишет код, который на выданных данных обучает классификатор, например для распознавания фигурБалл — средняя точность обученных моделью классификаторов, а не доля решённых задач.Подробнее на английском ↗92,9%максимальное
- OTIS Mock AIME 2024-202545 олимпиадных задач по математике из пробных экзаменов AIME школы OTIS; ответ — целое число от 0 до 999Подробнее на английском ↗100,0%максимальное
- ARC-AGIГоловоломки на цветных клетках: по паре примеров нужно понять правило преобразования картинки и применить его к новойПодробнее на английском ↗97,5%максимальное
Новости о модели
все упоминания · 37Модель Kimi K3.1 Pro обошла Claude Fable 5.1 в независимом рейтинге
По замерам Artificial Analysis, уже вышедшая модель Moonshot AI отстаёт от лидера рейтинга Claude Opus 5.5 на три балла, а её веса компания обещает открыть к 4 ноября.
Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).