Автор Latent Space объяснил успехи ИИ в математике дешёвыми попытками

Модели стали решать открытые задачи математики, потому что довести идею до конца и проверить её им стоит минут, а не месяцев, пишет Анкит Малу (Ankit Maloo) в рассылке Latent Space¹.

Почему это важно: если понять, чем решения ИИ отличаются от человеческих, можно заранее прикинуть, какие задачи он возьмёт следующими и где люди пока сильнее.

Повод: с мая модели двух лабораторий выдают крупные математические результаты один за другим. Малу перечисляет:

• В мае внутренняя модель OpenAI нашла контрпример к гипотезе Эрдёша о единичных расстояниях², которая оставалась нерешённой с 1946 года.
• В июне OpenAI опубликовала доказательство гипотезы о двойном покрытии циклами³, а к июлю — решения ещё десяти открытых задач.
• В сентябре компания выложила 166-страничное доказательство по проблеме Навье — Стокса, одной из задач тысячелетия⁴.
• Anthropic опубликовала доказательство Великой теоремы Ферма в форме, которую проверяет компьютер, и улучшила оценки, связанные с гипотезой Римана.

Как это работает: Малу опирается на подход Тимоти Гауэрса, лауреата Филдсовской премии. Гауэрс мерит сложность доказательства самой короткой цепочкой подсказок, по которой эксперт его восстановит: сложность растёт экспоненциально с числом подсказок, а между ними лежат месяцы работы. Отсюда разные способы искать:

• Человек развивает одну идею месяцами, поэтому бросает направления, которые не обнадёживают сразу, и вкладывается в немногие.
• Модель доводит до готового доказательства каждую идею, даже неправдоподобную, а автоматическая проверка за минуты отсеивает ошибочные.

Интрига: контрпример к гипотезе Эрдёша искал и человек. Джейкоб Цимерман, которого недавно наняла OpenAI, знал нужную теорию чисел и даже думал о числовых полях растущей степени, но остановился: по его словам, такая работа «отнимает много времени и часто не срабатывает».

Детали: неудачи модели тоже идут в дело — каждая становится запретом для следующей попытки. В запросе, с которым OpenAI решала задачу о двойном покрытии циклами, модели велят считать, что полное доказательство существует, перечисляют подмены, которые не засчитываются, и требуют: «Не заканчивай работу только потому, что нынешние подходы не работают». «Странно писать машине записку „нет, правда, продолжай“, и ещё страннее, что это работает», — замечает Малу.

Расклад: всё упирается, по Малу, в то, сколько правдоподобных ходов открыто на каждом шаге. Проверка судит только готовое рассуждение, поэтому модели приходится пройти почти все ходы. Раньше всего ИИ преуспел в кибербезопасности: цепочки атак там давно описаны, и на каждом шаге выбор из одного-двух вариантов.

Не факт: Малу предсказывает, что в математике модели будут сильнее всего там, где ключевые идеи уже найдены и осталась кропотливая и сложная математика. Он опирается на доказательство по проблеме Навье — Стокса: по его беглому прочтению, оно доводит до конца программу математиков Кордобы и Мартинеса-Сороа. Даже на это ушло 10 000 агентов. За 88 часов они израсходовали 300 млрд токенов. Сам Малу называет свой вывод ранним: подробных разборов того, какие новые идеи есть в доказательстве, он пока не видел.

Что говорят: «Возможно, в этом одно из преимуществ ИИ-систем: они не просто перебирают все известные методы, а могут играть дольше и в более коварных водах, чем математики, не захлёбываясь. Конечно, пока так бывает не всегда, но это может быть предвестием», — пишет Цимерман в разборе контрпримера.

Но: Гауэрс ждёт, что люди сохранят преимущество в задачах, «где дерево поиска глубокое и сильно ветвится, так что без строгого отсечения перебор невозможен даже для компьютера».

Малу видит и потерю. Подход, который математик бросил после месяцев работы, сам учит сообщество, а неудачи модели дёшевы, в основном наивны и почти никогда не показываются. Объявлять только итоговое решение, по его словам, — значит путать цель с дорогой. В начале октября, когда OpenAI выложила 722 статьи с решениями своей закрытой модели, часть математиков как раз потребовала показать саму модель и запросы.