IBM доказала преимущество квантовых схем над LLM в двух задачах. Но только в теории
Первая задача — пройти по цепочке ссылок, вторая — выдать строки с нужной чётностью. Авторы подчёркивают: нынешние квантовые компьютеры малы и шумны, поэтому результат пока математический.
Исследователи IBM Research математически доказали: есть две задачи, с которыми неглубокие квантовые схемы справляются, а языковые модели при ограниченных ресурсах — нет. Статья вышла в arXiv1 4 августа, а 15 сентября авторы подробно рассказали о ней в блоге компании.
Неглубокой называют квантовую схему, у которой число последовательных шагов вычисления не растёт с ростом числа кубитов2. Такая схема делает почти всё параллельно, за несколько тактов.
«Это, разумеется, теоретические, а не практические и не готовые к реализации результаты», — подчеркнули авторы. По их словам, языковые модели работают на гораздо более зрелом и мощном оборудовании, чем сегодняшние небольшие квантовые компьютеры, которые к тому же часто ошибаются.
Первая задача — поиск по цепочке указателей. Авторы сравнивают его с алфавитным указателем в книге, который отсылает не на страницу, а в указатель второй книги, оттуда — в третью, и так далее. Нужно понять, где закончится цепочка. Для трансформеров3, на которых построены GPT, Claude и Llama, из прежних работ было известно, что им нужны большие ресурсы. IBM показала, что квантовая схема почти постоянной глубины решает задачу с одним классическим логическим элементом «И». Сделать глубину строго постоянной нельзя, это авторы тоже доказали.
Вторая задача — выборка случайных строк из нулей и единиц с заданной чётностью, то есть с чётным или нечётным числом единиц. Здесь соперником стали диффузионные языковые модели. Они собирают текст из шума, постепенно открывая слова. Ограничения таких моделей были известны и раньше, но без учёта цепочки рассуждений — промежуточных записей, которые обычно заметно усиливают модель. Авторы доказали, что даже с цепочкой рассуждений ограниченной длины модель не может воспроизвести распределение, которое выдаёт неглубокая квантовая схема.
При каком масштабе квантовые системы на деле обгонят языковые модели в этих задачах, работа не отвечает. Доказано лишь, что при росте размера задачи квантовые схемы в итоге окажутся впереди. Авторы надеются, что их работа поможет создать бенчмарки для прямого сравнения квантовых систем и LLM, а в будущем квантовые вычисления смогут дополнять классический ИИ.
Работа продолжает направление, которое в 2018 году открыли сотрудники IBM Сергей Бравый, Дэвид Госсет и Роберт Кёниг. Тогда в журнале Science они доказали, что квантовые схемы постоянной глубины решают поисковые задачи, недоступные классическим схемам такой же глубины. С тех пор классических соперников брали всё сильнее, а квантовая сторона оставалась такой же неглубокой.