NVIDIA выложила малую модель, которая ускоряет ответы Nemotron 3.5 Bolt
Помощник на 1,1 млрд параметров угадывает сразу семь следующих слов или их частей, а Nemotron 3.5 Bolt только проверяет догадки и поэтому отвечает быстрее.
NVIDIA выложила LiLiCorr — малую модель на 1,1 млрд параметров, которая ускоряет ответы Nemotron 3.5 Bolt, сжатой до 24 ГБ модели компании для ИИ-агентов.
Как это работает: помощник угадывает сразу семь следующих токенов1, а Bolt проверяет их за один проход и оставляет ту часть, с которой согласна. По замерам NVIDIA на тесте SPEED-Bench2, Bolt в среднем принимает 4,3 токена из семи, а в программировании — 5,3.
Детали: на каждом из семи мест помощник держит по восемь вариантов, а отдельный небольшой блок выбирает из них те, что сочетаются друг с другом. По словам NVIDIA, по качеству ответы остаются такими же, как у Bolt без помощника.
Но: помощник работает только в паре с Bolt и только на видеочипах NVIDIA поколения Blackwell, причём лишь версии SM 120. Такой чип стоит, например, в мини-компьютере DGX Spark, а о ноутбуках NVIDIA ничего не говорит. Насколько быстрее становятся ответы, компания не пишет.
Ранее, 13 октября, NVIDIA анонсировала саму Bolt — модель на 74 млрд параметров, рассчитанную на ИИ-агентов, которые работают на ноутбуке без облака. Помощника выложили под свободной лицензией OpenMDW-1.1, она разрешает и коммерческое использование.