AgentX
Бенчмарк SemiAnalysis с открытым исходным кодом для сравнения производительности оборудования и программного обеспечения при выполнении запросов ИИ-агентов для программирования. Воспроизводит структуру реальных многоходовых сеансов с длинным контекстом и повторным использованием ранее обработанных частей запросов; позволяет сопоставлять задержки, скорость генерации и стоимость токенов.
проверено по: inferencex.semianalysis.com ↗
См. также
- SemiAnalysisНезависимая исследовательская компания, которая анализирует полупроводниковую отрасль и инфраструктуру ИИ: цепочки поставок чипов, строительство дата-центров, экономику ускорителей. Продаёт отраслевые отчёты и модели данных, выпускает аналитическую рассылку и ведёт бенчмарк производительности оборудования для инференса InferenceX.
- Агент для программированияАгент для программирования (coding agent) — ИИ-инструмент, который не ограничивается подсказкой следующих строк кода, а самостоятельно читает проект, редактирует файлы, запускает команды и тесты и исправляет ошибки, пока задача не будет выполнена. Примеры — Claude Code, OpenAI Codex, Cursor и подобные системы; от автодополнения их отличает работа циклом с обратной связью от среды.
- Пропускная способностьОбъём работы, который система выполняет за единицу времени (throughput). Для сервисов с языковыми моделями это число обработанных запросов или токенов в секунду по всем одновременным запросам; для каналов связи и памяти — объём данных, передаваемых за секунду. Её часто повышают пакетной обработкой, но при этом может расти задержка отдельного запроса.
- Контекстное окноМаксимальный объём текста в токенах, который языковая модель может обработать за один раз. В него входят запрос, приложенные документы, история диалога и сам ответ модели. Если текст не помещается, часть приходится обрезать или сжимать. От размера окна зависит, сколько кода или документов можно дать модели разом.
В новостях
NVIDIA отвечает на дефицит памяти экономией, а не прибавкой объёма
Тест SemiAnalysis, который воспроизводит реальную нагрузку ИИ-агентов — многоходовые запросы с длинным контекстом — и измеряет, сколько токенов выдаёт оборудование и во что они обходятся.