ИИтак
Поиск

← Назад

словарь

MTEB Code

Набор задач в составе бенчмарка MTEB (Massive Text Embedding Benchmark) для оценки моделей векторных представлений на программном коде. Модель должна находить нужный фрагмент кода, решение или ответ по текстовому запросу, по другому коду или по диалогу; задачи собраны из открытых наборов вроде CodeSearchNet, APPS, CosQA и StackOverflowQA и охватывают много языков программирования. В отличие от основного MTEB, проверяет только поиск, связанный с кодом.

проверено по: docs.mteb.org ↗

В новостях

  1. Google выпустила EmbeddingGemma 2 — модель для поиска по видео и звуку

    Часть бенчмарка MTEB (Massive Text Embedding Benchmark), которая проверяет, насколько точно модели векторных представлений находят нужный код по запросу.