Claude за несколько тысяч долларов побила рекорд физиков-теоретиков

Модель Claude Fable 5.1 от Anthropic за несколько дней почти без участия людей посчитала формулу физики частиц на девяти «петлях». Это на одну петлю больше прежнего рекорда физиков-теоретиков.

Anthropic объявила об этом 25 сентября в соцсети X под заголовком «Да, Claude по силам девять петель». Подробности в блоге компании рассказал физик Мэтт фон Хиппель: это он предложил ИИ-компаниям попробовать превзойти рекорд в восемь петель.

Почему это важно: автор прежнего рекорда Лэнс Диксон считал прямой расчёт на девяти петлях слишком трудным. Модель провела его за несколько тысяч долларов, а люди лишь просили её продолжать.

Повод: в августе фон Хиппель, бывший физик-теоретик и автор блога 4gravitons, предложил ИИ-компаниям решить задачу из его прежней области на ресурсах, доступных обычному учёному. «Если ИИ-компании хотят впечатлить таких, как я (или напугать, если на то пошло), им нужно взяться за мою старую область», — написал он.

Как это работает: физики считают амплитуды рассеяния — формулы, по которым видно, с какой вероятностью частицы при столкновении поведут себя тем или иным образом.

• Точно такую формулу не посчитать, поэтому её уточняют поправками — «петлями», и каждая следующая требует экспоненциально больше вычислений.
• Большинство амплитуд посчитаны до двух петель, некоторые до трёх, а самое точное известное предсказание физики частиц использовало пять.
• Новые методы обкатывают на упрощённых теориях. Одна из них — теория Янга — Миллса с четырьмя суперсимметриями¹: реальный мир она не описывает, зато считать в ней проще.
• Один из таких методов — бутстрап: выписывают все возможные варианты ответа и вычёркивают те, что нарушают известные правила, как в судоку.

Предыстория: в 2023 году Диксон из Национальной ускорительной лаборатории SLAC² и Энди Лю дошли до восьми петель. Они шли обходным путём — через форм-фактор, родственную формулу, которую считать проще.

Детали: фон Хиппель предложил на выбор две задачи. Физики Anthropic Лиам Фицпатрик и Сиддхартх Мишра-Шарма спросили Claude, какую из двух она решит вероятнее. Затем они дали ей запрос в одну строку — посчитать амплитуду для шести частиц на девяти петлях.

• Модель работала в Claude Science — платной обвязке³ Anthropic для учёных, к которой в августе подключили и биомодели NVIDIA.
• Дальше люди в основном просили продолжать: «Я иду спать и несколько часов буду недоступен. Работай, пока я не скажу остановиться».
• Claude посчитала ответ двумя способами — прямым бутстрапом и через форм-фактор — и весь код для этого написала с нуля.
• По словам Диксона, такая конструкция очень хрупкая: при любой ошибке в рецепте расчёта всё «опадает, как неудавшееся суфле».

В цифрах:

• Каждый из двух способов обошёлся бы пользователю в 1–2 тыс. долларов, в основном за долгую работу модели.
• Сами вычисления бутстрапа — код на Python с библиотекой символьной математики SymPy — заняли из этой суммы лишь около 100 долларов: столько стоит неделя работы 96 процессоров.
• Anthropic сообщила Диксону о результате 1 сентября, проверка заняла у него две недели.

Расклад: группа Сун Хэ из Китайской академии наук независимо получила большую часть девятипетлевого результата. GPT-6 помогала ей вычислить часть ограничений, но общую схему расчёта строили люди.

Что говорят: «Похоже, Claude не придумала новый метод, а просто применила известные методы расчёта», — пишет математик Колумбийского университета Питер Войт в блоге Not Even Wrong. Он спрашивает, помогут ли ИИ-инструменты теоретикам найти новые методы или сделают их ненужными, «заменив любым, кто нажимает кнопки, имея пару тысяч долларов, но не имея никакой экспертизы».

Но: фон Хиппель ждал, что ИИ обойдёт вычислительный предел неожиданным способом, а Claude применила известные методы и чуть больше мощностей, чем пробовали люди. Anthropic пригласила его написать пост и заплатила за потраченное время, а Диксон, который проверял результат независимо, получил кредиты на Claude.

Что дальше: полный результат уже выложен в формате прежних расчётов, а статьи с его разбором напишут Диксон, Хэ и их соавторы.

Диксон называет расчёт триумфом языковой модели, но считает, что главное впереди: «Куда больше поводов для самокопания появится, когда большие языковые модели начнут находить новые физические принципы и идеи раньше людей».