MTEB
Открытый бенчмарк для моделей текстовых эмбеддингов, то есть моделей, превращающих текст в векторы (Massive Text Embedding Benchmark). Модели проверяют на множестве наборов данных и языков в задачах поиска, классификации, кластеризации, переранжирования и оценки смысловой близости. У бенчмарка есть публичный рейтинг, по которому часто выбирают модель эмбеддингов.
проверено по: arxiv.org ↗
См. также
- MTEB CodeНабор задач в составе бенчмарка MTEB (Massive Text Embedding Benchmark) для оценки моделей векторных представлений на программном коде. Модель должна находить нужный фрагмент кода, решение или ответ по текстовому запросу, по другому коду или по диалогу; задачи собраны из открытых наборов вроде CodeSearchNet, APPS, CosQA и StackOverflowQA и охватывают много языков программирования. В отличие от основного MTEB, проверяет только поиск, связанный с кодом.
- nDCG@10Метрика качества поиска и ранжирования (нормализованный дисконтированный совокупный выигрыш, normalized discounted cumulative gain) по первым десяти результатам. Учитывает, насколько релевантны найденные документы и на каких местах они стоят: чем ниже позиция, тем меньше её вклад. Значение нормируется на идеальное ранжирование и лежит от 0 до 1; это основная метрика поисковых задач в бенчмарках BEIR и MTEB.
- Векторное представлениеВекторное представление (эмбеддинг, embedding) — набор чисел, которым модель описывает объект: слово, текст, изображение или страницу. Числа подобраны так, что близкие по смыслу объекты оказываются рядом в этом пространстве, поэтому на эмбеддингах строят смысловой поиск, рекомендации и кластеризацию.
- ViDoReViDoRe (Visual Document Retrieval Benchmark) — бенчмарк поиска по документам, где страницы подаются модели как изображения, а не как распознанный текст. Оценивает, насколько точно система находит нужную страницу по текстовому запросу, учитывая её вёрстку, таблицы и графики; создан авторами модели ColPali.
- Voyage AIАмериканская компания, которая разрабатывает модели для поиска: модели векторных представлений (эмбеддинги) и реранкеры. Их используют в поисковых системах и в генерации с дополненной выборкой (RAG), в том числе для специализированных текстов — юридических, финансовых, а также для программного кода. С 2025 года принадлежит MongoDB.
В новостях
Cohere предложила оценивать качество поиска с помощью модели-судьи
Massive Text Embedding Benchmark — открытый набор тестов и рейтинг моделей, которые переводят текст в векторные представления; по нему сравнивают модели для поиска, классификации и похожих задач.