SPEED-Bench

Бенчмарк исследователей NVIDIA для оценки спекулятивного декодирования — способа ускорить инференс большой языковой модели: небольшая черновая модель предлагает следующие токены, а основная модель их проверяет. В нём две части: качественная — задачи из разных областей, от программирования и математики до гуманитарных тем и ролевых диалогов, показывает, какую долю черновых токенов принимает основная модель; и пропускная — измеряет производительность системы под реалистичной нагрузкой. В отличие от прежних наборов тестов, он работает с промышленными движками инференса vLLM и TensorRT-LLM.

проверено по: arxiv.org ↗