Итан Моллик испытал Claude Fable 5.2 и назвал её почти общим искусственным интеллектом

Профессор Уортонской школы бизнеса¹ Итан Моллик испытывал Claude Fable 5.2 ещё до выхода и назвал её «почти AGI²». По его оценке, во многих задачах модель не уступала большинству экспертов-людей. Но сама она не замечала, когда её работа выходила скучной, раздутой или запутанной.

Почему это важно: по наблюдению Моллика, слабости ИИ стали другими. Пару лет назад модели выдавали себя выдуманными фактами и ошибками в простой арифметике. Промахи Fable 5.2 устроены иначе: точный, но безрадостный учебный сайт о поэзии, статья на 182 страницы, творческий проект, заваленный правилами и согласованиями. Всё это, пишет Моллик, он видел и у талантливых людей, и у хороших организаций.

Повод: Anthropic выпустила модель 9 ноября вместе с Mythos 5.2, а Моллик успел поработать с ней до запуска. Для проверки он взял узкое определение AGI: «ИИ, который не хуже большинства экспертов-людей справляется с большинством интеллектуальных задач, выполнимых на компьютере». Работа с физическим миром и с людьми сюда не входит. Не входит и большинство настоящих профессий, где работа за компьютером — лишь одна задача из многих.

Детали: Моллик преподаёт предпринимательство. Он попросил модель запустить бизнес, который приносил бы не меньше 20 000 долларов в год и отнимал у него не больше 20 минут в месяц. Fable перебрала 22 идеи и выбрала Prebid Brief — сервис, который заранее, ещё до торгов, сообщает продавцам оборудования, какие городские проекты парков и водного хозяйства уже получили деньги или проектируются. Для первых выпусков модель прочла открытые повестки заседаний 201 городской и окружной администрации, а шансы бизнеса на успех сама оценила в 20–40%. Когда Fable спросила, можно ли рассылать местным властям запросы на документы, Моллик ограничил её демоверсией: побоялся, что сервис возьмёт деньги с клиентов, а качественного продукта не даст. «Я был бы впечатлён, если бы такое принесла команда моих студентов MBA³ в конце семестра», — пишет он.

Научную работу модель тоже провела почти сама. Она нашла нерешённый вопрос в исследованиях предпринимательства, собрала открытые данные и написала статью «Компания за доллар» (The One-Dollar Company). По её расчётам, когда Колорадо снизил пошлину за регистрацию компании (LLC) до 1 доллара, регистраций стало примерно на 17% больше. Когда Великобритания подняла сбор с 12 до 50 фунтов, их стало примерно на столько же меньше. В более поздних данных о деловой активности таких же сдвигов не видно, а значит, добавочные компании вряд ли стали настоящим бизнесом.

Моллик потратил на статью меньше часа своего времени. При первом чтении она показалась ему сильнее того, что он ждал бы от аспирантов второго года. Но опубликовать её в таком виде нельзя: на каждое критическое замечание модель отвечала новым разделом анализа и ничего не вырезала, так что текст разросся до 182 страниц. Моллик просил заранее зарегистрировать гипотезу и методы, но этого модель на деле не сделала: планы остались внутри проекта, а часть написана уже после первых результатов. Полностью выводы не проверил ни один человек, включая самого Моллика.

Интрига: самый показательный сбой случился в проекте с 3D-мирами. По описанию в один абзац — бесконечное путешествие по мирам, связанным порталами, — Fable за 20 часов выложила на сайт 204 мира. Строили их ИИ-агенты — копии модели, каждая со своей частью работы. Моллик просил собрать из них команды художников, программистов и оценщиков, и к десятому дню параллельно работали 28 команд под началом ведущего агента. Сейчас миров больше 450, и каждый рисуется кодом на лету, без готовых моделей и картинок.

Сбой начался с просьбы самого Моллика. За первые два дня агенты построили 328 миров, но часть вышла неровной, а команды повторяли друг друга, и он велел перестать строить и отшлифовать готовое. Через несколько дней новых миров выходило уже не сотни в день, а около дюжины. Агенты, которых Моллик отправил разобраться, выяснили, как была понята его просьба: каждая новая версия мира должна обойти старую в слепом голосовании агентов-судей по двенадцати контрольным скриншотам. Команды начали подгонять миры именно под эти кадры.

Ведущий агент запретил этот приём и ужесточил проверку. Уже наутро появился свод правил из 84 разделов, хотя Моллик о нём не просил. Правила только добавлялись, и через двенадцать дней в своде было 87 500 слов. Чтобы запустить новый мир, требовались одобренная идея, три ИИ-судьи и полная проверка кода по своду — около суток работы. Тогда Моллик, как поступают с любой запутавшейся организацией, позвал консультантов: отдельная команда агентов посмотрела на процесс со стороны. Темп вернулся к 30 с лишним мирам в день, а большая часть проверок осталась. Сами выводы консультантов, признаётся Моллик, оказались слишком длинными и плотными, чтобы он стал их читать.

Но: главное, по Моллику, — модель не заметила этих провалов сама. Fable ставила в проекты критиков, проверяющих и судей, но те искали ошибки и добавляли исправления. Никто из них не спросил, не слишком ли работа длинная, однообразная или скучная. «Понимать, когда твоя работа недостаточно хороша, — большая часть того, что делает человека экспертом, и как раз с этим Fable справляется наименее надёжно», — пишет Моллик. Самостоятельно вести бизнес он бы ей пока не доверил. К тому же он выбирал сугубо цифровые задачи, где ИИ почти не общается с людьми.

Моллик оговаривает, что не берёт денег у ИИ-лабораторий и ничего не заработает на скором выходе Anthropic на биржу. Текст компания до публикации не видела. Ранний доступ к моделям он иногда получает, и пока такой доступ длится, за работу модели ему не выставляют счёт. В остальное время за свои учётные записи он платит сам.

«Если бы бюрократия лишала права называться общим интеллектом, многим из нас пришлось бы туго», — замечает Моллик.