NVIDIA выпустила готовые настройки для запуска корейских открытых моделей
По оценке NVIDIA, с её готовыми настройками модели SK Telecom, LG, Upstage и Motif на ускорителях B200 сразу показывают до двух раз более высокую производительность.
NVIDIA выложила готовые настройки, по которым компании разворачивают четыре корейские открытые модели на ускорителях B2001.
Детали: настройки (в NVIDIA их называют рецептами) рассчитаны на Dynamo — открытую систему компании для моделей, которые не помещаются на одну видеокарту. Dynamo разносит модель по многим видеокартам и серверам, распределяет между ними запросы и согласует обмен данными. По оценке NVIDIA, с готовыми настройками производительность моделей сразу оказывается до двух раз выше. С чем сравнивали, компания не уточняет.
Расклад: в наборе — A.X K2 от SK Telecom, K-EXAONE 2.0 от LG AI Research, Solar Open 2 от стартапа Upstage и Motif-3 от Motif Technologies. С этими моделями четыре команды участвовали в государственной программе Южной Кореи по созданию собственных фундаментальных моделей2. В августе Motif Technologies из неё выбыла, а три другие команды вышли в финал, где правительство отберёт две.