Математики разошлись в оценке 722 работ модели OpenAI

Одни математики называют выход 722 рукописей внутренней модели OpenAI историческим событием. Другие советуют не верить компании на слово, пока она не покажет модель и запросы к ней.

Почему это важно: сотни заявок на решение открытых задач вышли разом и без рецензирования. Математики могут читать доказательства, но повторить путь к ним не могут: модель закрыта, а запросы к ней OpenAI не раскрыла.

Предыстория: в сентябре OpenAI предложила группе математиков стать её внешними советниками. Но по договорённости с компанией они создали не совет при ней, а независимую группу при Институте перспективных исследований¹ в Принстоне. 29 сентября эта группа попросила ИИ-компании раскрывать для каждого результата модель, запросы, время и стоимость вычислений, а закрытые модели на сложных математических задачах больше не испытывать.

Повод: 6 октября OpenAI выложила на GitHub 722 рукописи — 372 группы связанных результатов, которые модель получила, когда её проверяли примерно на 4 000 задачах. По словам представителя компании, почти каждый результат получил один агент по одному запросу. В среднем на результат ушло столько вычислений, сколько модель в ChatGPT Pro тратит примерно за три часа рассуждений. Для сравнения: в сентябре над задачей Навье — Стокса у OpenAI вместе работали 10 000 агентов. Эта задача тысячелетия касается уравнений, которые описывают течение жидкости.

Расклад: OpenAI сослалась на советы группы, но раскрыла только среднее время вычислений, число задач, на которых проверяли модель, и 10 пересказов её рассуждений. Запросов и затрат на каждую задачу в публикации нет. Представитель компании сказал Scientific American, что OpenAI старается следовать рекомендациям, но не обязана им подчиняться.

Детали: комментаторы выделяют такие результаты; независимо их пока никто не проверил:

• Квазигипотеза Римана: у дзета-функции Римана нет нулей с действительной частью больше 7/8. Гипотеза Римана² требует границы 1/2, но и такой полосы без нулей раньше никто не доказал.
• Алгоритм умножения целых чисел, которому нужно меньше шагов, чем n, умноженное на логарифм n, где n — число цифр. В эту границу упирались лучшие известные алгоритмы.
• Единственность решения обратной задачи теории упругости в трёхмерном случае: по тексту работы, вопрос оставался открытым с 1994 года.
• Частичное продвижение по гипотезе Ходжа³ и гипотезе Бёрча — Свиннертон-Дайера — двум задачам тысячелетия⁴.

Интрига: по одной из оценок, около пятой части результатов — не доказательства, а опровержения и контрпримеры.

Что говорят: «Это, очевидно, самый значимый момент в истории математики», — написал Левент Алпёге, математик из Anthropic. Вместе с Тристаном Бакмастером из Нью-Йоркского университета он сам работал над задачей Навье — Стокса, и в сентябре Бакмастер обвинял OpenAI в том, что та опередила их с публикацией.

«Пока они не выпустят модель и люди не смогут повторить их результаты, любые заявления о том, что задачи решены одним агентом с первой попытки, стоит считать непроверенными. Нужно требовать доказательств», — сказал Scientific American Эндрю Сазерленд, математик из MIT.

Другая сторона: с призывом группы больше не испытывать закрытые модели на сложных задачах согласны не все. «Если мы хотим знать ответы на эти математические вопросы, я не вижу причин просить компанию скрывать их от нас», — считает Даниэль Литт, математик из Университета Торонто.

Но: гарантий, что все результаты верны, нет:

• Представитель OpenAI признал, что многие результаты пока не понимают и собственные математики компании.
• Формальные доказательства для программы Lean, которая проверяет их автоматически, есть не у всех рукописей, и в репозитории предупреждают, что в остальных возможны ошибки.
• Уилл Депью, создатель сайта citedbyagi.com, который отслеживает, на какие работы людей ссылаются рукописи, ждёт, что часть результатов проверку не выдержит.

Если шире: 2 октября Meta* выложила шесть статей, где математики доказывали теоремы и искали контрпримеры вместе с моделью Muse Spark в обычном чате.

Подробнее: OpenAI опубликовала 722 работы своей модели по открытым задачам математики