Okapi BM25
Okapi BM25 (BM25) — классическая функция ранжирования в поиске: оценивает релевантность документа запросу по частоте встречающихся в нём слов запроса с поправкой на их распространённость и длину документа. Работает без нейросетей, дёшева и быстра, поэтому служит базовым методом лексического поиска и точкой отсчёта при сравнении с поиском по смыслу.
проверено по: en.wikipedia.org ↗
См. также
- РеранкерМодель для второго этапа поиска (reranker). Она берёт кандидатов, найденных быстрым первичным поиском (по ключевым словам или векторным), и заново упорядочивает их по релевантности запросу. Обычно это кросс-энкодер: он оценивает пару «запрос — документ» целиком, поэтому точнее, но медленнее, чем сравнение готовых векторных представлений. Широко применяется в поисковых системах и в генерации с дополненной выборкой.
- Векторное представлениеВекторное представление (эмбеддинг, embedding) — набор чисел, которым модель описывает объект: слово, текст, изображение или страницу. Числа подобраны так, что близкие по смыслу объекты оказываются рядом в этом пространстве, поэтому на эмбеддингах строят смысловой поиск, рекомендации и кластеризацию.
- nDCG@10Метрика качества поиска и ранжирования (нормализованный дисконтированный совокупный выигрыш, normalized discounted cumulative gain) по первым десяти результатам. Учитывает, насколько релевантны найденные документы и на каких местах они стоят: чем ниже позиция, тем меньше её вклад. Значение нормируется на идеальное ранжирование и лежит от 0 до 1; это основная метрика поисковых задач в бенчмарках BEIR и MTEB.
В новостях
Саймон Уиллисон испытал модель Jev и предупредил о риске предвзятости
Классический алгоритм поиска: ранжирует документы по тому, как часто в них встречаются слова запроса. Работает быстро и обходится без нейросетей.