NVFP4
Четырёхбитный формат чисел с плавающей точкой от NVIDIA, который появился вместе с архитектурой видеокарт Blackwell и аппаратно поддерживается только ими. Для каждого небольшого блока значений хранится свой масштабный множитель, поэтому потери точности меньше, чем при обычном четырёхбитном сжатии. По сравнению с FP8 и BF16 модель занимает меньше памяти и работает быстрее, но её качество после перевода в этот формат нужно проверять.
проверено по: developer.nvidia.com ↗
См. также
- BlackwellАрхитектура графических процессоров Nvidia, пришедшая на смену Hopper и названная в честь математика Дэвида Блэкуэлла. На ней построены ускорители для ИИ в дата-центрах B200 и B300, а также системы GB200 и GB300, где GPU объединены с процессорами Grace. Это название поколения чипов, а не отдельного продукта.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
В новостях
NVIDIA выпустила модели, которые ищут ИИ-агентам данные в таблицах и сканах
Четырёхбитный формат чисел NVIDIA для ускорителей Blackwell. Веса модели в нём занимают меньше места, и модель работает быстрее ценой небольшой потери точности.
NVIDIA выпустила модель Dory, где часть слоёв работает по нескольку раз
Формат NVIDIA для хранения чисел в четырёх битах, рассчитанный на её ускорители поколения Blackwell. Модель в нём занимает меньше памяти и работает быстрее, чем в 16-битном формате.
Black Forest Labs выложила открытую модель для картинок FLUX 3 Image Klein
Четырёхбитный формат чисел NVIDIA для сжатия весов модели: модель занимает меньше памяти и работает быстрее. Аппаратно его поддерживают видеокарты поколения Blackwell.
Стойка Vera Rubin NVL72 впервые прошла MLPerf и обогнала GB300 до 3,7 раза
Формат NVIDIA, в котором числа хранятся в 4 битах. Модель занимает меньше памяти и работает быстрее, а качество ответов почти не падает.