Braintrust
Платформа для оценки (evals) и мониторинга приложений на больших языковых моделях и ИИ-агентов. Разработчики сравнивают на ней промпты и модели, автоматически проверяют качество ответов, в том числе с помощью другой модели в роли судьи, и отслеживают работу приложения после запуска.
проверено по: braintrust.dev ↗
См. также
- Модель-судьяЯзыковая модель, которая оценивает ответы или работу других моделей вместо людей (LLM-as-a-judge). Этот способ дешевле и лучше масштабируется, чем оценка людьми, но у судьи бывают систематические перекосы: например, он может предпочитать более длинные ответы или ответы моделей своего семейства. Поэтому его оценки выборочно сверяют с оценками людей.
- StatsigАмериканская компания и одноимённая платформа для продуктовых экспериментов: A/B-тестов, флагов функций (feature flags) и аналитики. С её помощью разработчики открывают новую функцию части пользователей и измеряют, как она влияет на метрики продукта. Компанию купила OpenAI.
В новостях
You.com запустила сервис для моделей, в основном открытых, со встроенным веб-поиском
Американский стартап, который делает платформу для оценки, отладки и отслеживания работы приложений на языковых моделях.