LPU
Language Processing Unit — класс процессоров, которые компания Groq разработала для инференса языковых моделей. В отличие от GPU, LPU хранит данные модели в быстрой встроенной памяти SRAM, а не во внешней, и выполняет вычисления по расписанию, которое компилятор составляет заранее. Поэтому он выдаёт токены быстро и с предсказуемой задержкой, но на одном чипе помещается мало памяти, и крупные модели приходится распределять по многим чипам.
проверено по: groq.com ↗
В новостях
NVIDIA начала массовый выпуск ускорителя Groq 3 LPX для ИИ-агентов
Language Processing Unit — чип, который стартап Groq создал для работы языковых моделей. Держит данные во встроенной быстрой памяти и выполняет вычисления по заранее составленному расписанию, поэтому выдаёт токены быстро и с предсказуемой скоростью.