Kumo Tabular

Kumo Tabular — открытая базовая модель NVIDIA для табличных данных. Она решает две типовые задачи: классификацию, то есть относит строку к одному из классов, и регрессию, то есть предсказывает число. Модели дают таблицу с уже заполненными строками и новые строки без ответа, и она за один проход выдаёт прогноз. Не нужно ни обучать её под конкретную задачу, ни настраивать, ни вручную готовить признаки. Такой приём называется обучением в контексте: похожим образом языковые модели решают задачу по нескольким примерам в запросе.

Внутри — трансформер, собранный под устройство таблицы. Одни механизмы внимания смотрят на значения внутри столбца, другие — на связи между столбцами в строке, третьи сопоставляют новые строки с размеченными. Числовые и категориальные значения модель принимает как есть, пропуски заранее заполнять не нужно. Обучали её целиком на искусственных таблицах, которые генерировались по случайным причинно-следственным схемам. Вариантов три: от Small на 28 млн параметров до Large на 215 млн, и самый большой за обучение увидел около 137 млн таких таблиц.

По замерам NVIDIA, модель заняла первые места в четырёх бенчмарках табличных прогнозов: TabArena (рейтинг Эло 1950), BeyondArena, TALENT и ScoringBench. Компания также заявляет, что на видеокартах RTX 6000 Pro она работает в 17 раз быстрее модели LimiX-2 в тех же условиях. Двадцать лет стандартом для таких задач в компаниях были градиентные бустинги — ансамбли деревьев решений, которые обучают отдельно под каждую таблицу. Kumo Tabular предлагает обходиться без этого шага. Модель входит в табличную коллекцию NVIDIA Kumo, где есть и Kumo Relational — модель для нескольких связанных таблиц базы данных.

Модель понимает только числовые и категориальные столбцы: текст, картинки и даты нужно сначала преобразовать. За один проход она различает до 10 классов, больше библиотека поддерживает, разбивая задачу на несколько мелких. Учили её на таблицах до 60 тысяч строк и 100 столбцов. NVIDIA предупреждает, что на таблицах сильно крупнее или когда новые строки устроены иначе, чем примеры, точность может падать, и советует перед запуском проверять модель на данных, которых она не видела. Веса выложены под лицензией OpenMDW 1.1, она разрешает коммерческое применение; библиотека рассчитана на работу на видеокартах NVIDIA, а рецепт обучения и генераторы данных компания обещает выложить позже.

источники:Анонс Kumo Tabular в блоге NVIDIA на Hugging Face ↗Карточка модели на Hugging Face ↗