NVIDIA выпустила открытую модель Kumo Tabular для прогнозов по таблицам

NVIDIA выложила на Hugging Face открытую модель Kumo Tabular: ей дают таблицу, где у части строк ответ уже известен, и она сразу предсказывает ответы для остальных, без обучения под задачу.

Почему это важно: в компаниях одна из самых частых задач машинного обучения — предсказывать по таблицам отток клиентов, невозврат кредита, спрос или цену. Двадцать лет под каждый новый вопрос собирали примеры с ответами, придумывали признаки, подбирали настройки и с нуля обучали отдельную модель, обычно на градиентном бустинге¹.

Как это работает: модель ведёт себя как чат-бот, которому в запросе показали несколько примеров. Её веса не меняются: строки с известными ответами служат подсказкой, а прогноз для новых строк получается за один проход. Этот приём называют обучением в контексте², а устройство модели во многом повторяет более ранние табличные модели TabPFN и TabICL.

Детали: для категорий модель выдаёт вероятности, для чисел — распределение возможных значений, из которого получаются прогноз и оценка его неопределённости. Лицензия OpenMDW-1.1 разрешает коммерческое использование. Запускают модель через открытую библиотеку NVIDIA для видеокарт, которая сама скачивает веса.

Интрига: при обучении модель не видела ни одной настоящей таблицы. Все таблицы были искусственными:

• Генератор строит случайную сеть причин и следствий, делает часть переменных столбцами, одну — ответом, а остальные прячет, как неизмеренные причины в жизни.
• В таблицы нарочно добавляли беспорядок настоящих данных: пропуски, одинаковые строки с разными ответами, столбцы с множеством категорий.
• Самая большая версия увидела около 137 млн таких таблиц, а на последнем этапе училась на таблицах до 60 000 строк и 100 столбцов.

В цифрах: всё ниже — замеры самой NVIDIA.

• Модель выходит в трёх размерах, от 28 до 215 млн параметров, отдельно для классификации и для предсказания чисел.
• На TabArena³, где методы сравнивают на 51 наборе данных, Kumo Tabular набрала 1 950 баллов в рейтинге Эло⁴ и обошла настроенный градиентный бустинг и новейшие табличные модели.
• На одной видеокарте RTX 6000 Pro она работает в 26 раз быстрее конкурирующей табличной модели LimiX-2.
• Первые места компания заявляет ещё в трёх бенчмарках — BeyondArena, TALENT и ScoringBench, который оценивает качество вероятностных прогнозов.

Расклад: за первое место на TabArena спорят сразу несколько разработчиков. Неделей раньше, 22 сентября, лучшей на этом бенчмарке назвала свою TabPFN-3.5 компания Prior Labs, автор моделей TabPFN. Авторы TabArena сейчас добавляют Kumo Tabular в официальную таблицу и перепроверяют результаты модели сами; эти прогоны ещё идут.

Но: NVIDIA сама называет ограничения модели:

• Она понимает только числа и категории, а текст, картинки и метки времени сначала превращают в признаки встроенными рецептами библиотеки.
• За один проход модель различает до 10 классов, а задачи с большим числом классов библиотека разбивает на несколько.
• Точность может упасть на таблицах намного больше учебных и когда новые строки не похожи на примеры, поэтому компания советует сначала проверить модель на своих данных.

Что дальше: рецепт обучения и генератор искусственных таблиц NVIDIA обещает выложить в ближайшее время.

Kumo — имя стартапа Kumo AI, который NVIDIA купила в июне. Под тем же брендом компания уже предлагает Kumo Relational — модель для предсказаний сразу по нескольким связанным таблицам.