Разработчик NVIDIA предложил код для запуска Nemotron Shortcut в библиотеке vLLM, пишет ORIENS
В предложении добавить поддержку Nemotron Shortcut в библиотеку для запуска ИИ-моделей указано, что ещё не представленная модель NVIDIA сможет принимать текст, изображения и видео.
Разработчик NVIDIA предложил добавить поддержку Nemotron Shortcut в vLLM, открытую библиотеку для запуска ИИ-моделей на серверах, пишет ORIENS. Предложение появилось на GitHub 17 ноября.
Почему это важно: если NVIDIA выпустит Nemotron Shortcut и правку примут, команды, которые уже запускают Nemotron 3.5 Super VL через vLLM, смогут в той же библиотеке сравнить обе модели на своих задачах с текстом, изображениями и видео.
Повод: в настройках, которые изучило ORIENS, тип модели обозначен как «nemotron4». Это указывает на возможную связь Shortcut с семейством Nemotron 4. На ту же правку обратило внимание TestingCatalog. В дайджесте TestingCatalog от 18 ноября Nemotron Shortcut назвали моделью этого семейства со ссылкой на AI Tracker Bot.
Предыстория: в марте NVIDIA и Mistral AI объявили, что вместе разработают общую основу для открытых моделей Nemotron 4. Тогда же NVIDIA объявила о создании коалиции компаний и лабораторий для разработки открытых моделей. Другие участники коалиции могут поделиться данными и методами оценки моделей.
Детали: для ускорения ответа в предложенном коде предусмотрен режим, в котором модель набрасывает сразу несколько следующих фрагментов текста и затем проверяет их. Автор правки испытал код на сервере с четырьмя ускорителями NVIDIA GB300.
Расклад: 19 ноября двое разработчиков vLLM одобрили правку. На утро 21 ноября она ещё не вошла в основной код библиотеки. NVIDIA пока не представила Nemotron Shortcut официально.