Claude Fable 5 перестанет уходить на Opus 5 из-за безобидных вопросов о биологии
Anthropic переобучила классификатор, который отсеивает биологические запросы к Fable 5. В тестах переключений на более слабую Opus 5 стало примерно на 85% меньше. Вирусология, токсикология и молекулярный дизайн по-прежнему закрыты.
Claude Fable 5 станет реже переадресовывать вопросы о биологии модели попроще. Anthropic обновила защитный фильтр. По тестам компании, такие переключения во всех её продуктах сократились примерно на 85%. Раньше Fable 5 отказывалась от вопроса о расшифровке анализов или о симптомах и передавала его Opus 5. Теперь такие запросы в основном будут доходить до неё самой. Врачи, по словам компании, получат больше помощи в клинических задачах.
Анализирует запросы не сама Fable 5. Этим занимается классификатор безопасности — небольшая вспомогательная модель, которая ищет опасные темы во входящем запросе и в ответе. Когда она срабатывает, запрос уходит к Opus 5. Opus 5 тоже сильная модель, но в биологии заметно слабее Fable 5, поэтому злоумышленнику она поможет меньше. На старте Fable 5 Anthropic сознательно заблокировала почти все биологические вопросы. Компания признаёт, что это раздражало добросовестных пользователей, но иначе выпуск модели пришлось бы отложить на недели или месяцы.
Осторожность в Anthropic объясняют оценками самой модели. В некоторых сложных биологических задачах Fable 5 превосходит экспертов и может серьёзно помочь злоумышленнику, например в создании биологического оружия. Граница между пользой и вредом при этом размыта. Для живых вакцин приходится выращивать тот самый патоген. Лекарство от гипертонии каптоприл создали на основе токсинов змеиного яда.
За последние несколько недель компания переписала «конституцию» классификатора. Так называется набор правил, по которым он отличает запрещённое от разрешённого. Безобидные сценарии в новой версии расписаны подробно. Правки проверили эксперты внутри Anthropic и за её пределами, затем классификатор переобучили на новых данных. Переключений в целом, по любым причинам, должно стать меньше примерно на 67% в Claude.ai и на 55% в Claude Cowork, агенте для офисной работы. В Claude Code, инструменте для программистов, снижение составит 17%, на платформе для разработчиков — 7%.
Для профессиональной науки ничего не изменилось. Запросы по вирусологии, токсикологии и молекулярному дизайну по-прежнему уходят на Opus 5. Поэтому для исследований и разработки лекарств Fable 5 пока не подходит. Anthropic обещает открыть учёным доступ через программы для проверенных пользователей. Уже работает программа Life Sciences Verification Program: её участники получают модели Claude с более мягкими ограничениями для биологии. Компания честно предупреждает, что ложные срабатывания останутся и дальше.