InferenceX
InferenceX (ранее InferenceMAX) — открытый непрерывно обновляемый бенчмарк инференса от аналитической компании SemiAnalysis. Он регулярно прогоняет популярные открытые модели на разных ускорителях и программных стеках, показывая скорость, энергоэффективность и стоимость, и потому используется для сопоставления систем разных производителей.
проверено по: inferencex.semianalysis.com ↗
См. также
- SemiAnalysisНезависимая исследовательская компания, которая анализирует полупроводниковую отрасль и инфраструктуру ИИ: цепочки поставок чипов, строительство дата-центров, экономику ускорителей. Продаёт отраслевые отчёты и модели данных, выпускает аналитическую рассылку и ведёт бенчмарк производительности оборудования для инференса InferenceX.
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
SemiAnalysis вынесла часть DeepSeek V4.1-Flash из видеопамяти в ОЗУ
Открытый бенчмарк аналитической компании SemiAnalysis. Он постоянно измеряет скорость и стоимость работы популярных открытых моделей на ускорителях разных производителей.
Фрайар: на день работы исследователя OpenAI приходится 3,1 дня агентов
Открытый бенчмарк аналитической компании SemiAnalysis. Сравнивает, насколько быстро и экономно разные чипы и серверные системы запускают языковые модели.