d-Matrix
d-Matrix — американский разработчик чипов из Санта-Клары, выпускающий ускорители только для инференса ИИ-моделей. Их архитектура цифровых вычислений в памяти (digital in-memory compute) размещает вычислительные блоки рядом с быстрой памятью SRAM, что сокращает перекачку данных между памятью и процессором по сравнению с обычными GPU с HBM.
проверено по: d-matrix.ai ↗
См. также
- GroqАмериканская компания, которая разрабатывает специализированные чипы LPU (Language Processing Unit) для быстрого инференса нейросетей и продаёт доступ к вычислениям на них через облачную платформу GroqCloud. Её основали бывшие инженеры Google, участвовавшие в создании TPU. NVIDIA лицензировала архитектуру LPU и выпускает на её основе собственные чипы. Не путать с чат-ботом Grok компании xAI.
- CerebrasCerebras Systems — американская компания из Калифорнии, выпускающая процессоры и системы для ИИ. Её отличительная черта — чип Wafer Scale Engine размером с целую кремниевую пластину вместо обычного небольшого кристалла; такие системы применяют для обучения моделей и особенно для быстрого инференса, в том числе через облачный сервис компании.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
В новостях
Vera Rubin NVL72 в тесте MLPerf обошла GB300 NVL72 до 3,7 раза
Американский стартап, который разрабатывает чипы для инференса — запуска уже обученных ИИ-моделей.