Векторное представление
Векторное представление (эмбеддинг, embedding) — набор чисел, которым модель описывает объект: слово, текст, изображение или страницу. Числа подобраны так, что близкие по смыслу объекты оказываются рядом в этом пространстве, поэтому на эмбеддингах строят смысловой поиск, рекомендации и кластеризацию.
проверено по: developers.google.com ↗
См. также
- MTEBОткрытый бенчмарк для моделей текстовых эмбеддингов, то есть моделей, превращающих текст в векторы (Massive Text Embedding Benchmark). Модели проверяют на множестве наборов данных и языков в задачах поиска, классификации, кластеризации, переранжирования и оценки смысловой близости. У бенчмарка есть публичный рейтинг, по которому часто выбирают модель эмбеддингов.
- РеранкерМодель для второго этапа поиска (reranker). Она берёт кандидатов, найденных быстрым первичным поиском (по ключевым словам или векторным), и заново упорядочивает их по релевантности запросу. Обычно это кросс-энкодер: он оценивает пару «запрос — документ» целиком, поэтому точнее, но медленнее, чем сравнение готовых векторных представлений. Широко применяется в поисковых системах и в генерации с дополненной выборкой.
- ТокенизаторКомпонент обработки текста (tokenizer), который разбивает текст на токены — слова, части слов, символы или байты, — и сопоставляет каждому числовой идентификатор из словаря. Он же выполняет обратное преобразование: из идентификаторов в текст. Модель работает с тем токенизатором, с которым её обучали (распространённые алгоритмы — BPE, WordPiece, SentencePiece). Поэтому один и тот же текст у разных моделей занимает разное число токенов, а от этого зависят цена запроса и то, сколько текста помещается в контекстное окно.
В новостях
NVIDIA выпустила модели, которые ищут ИИ-агентам данные в таблицах и сканах
Набор чисел, которым модель описывает смысл текста или картинки. Близкие по смыслу документы получают близкие векторы, поэтому по ним можно быстро искать похожее.