text-embedding-3-small

text-embedding-3-small — модель OpenAI для векторных представлений (эмбеддингов), а не для чата. Она не пишет ответов. Она превращает текст в длинный ряд чисел, и по этим рядам можно понять, насколько два текста близки по смыслу. По умолчанию ряд состоит из 1536 чисел.

Модель вышла вместе со старшей моделью линейки третьего поколения. Она сменила text-embedding-ada-002, которой раньше пользовалось большинство разработчиков. На тесте MTEB, общем бенчмарке для таких моделей, у неё 62,3% по данным OpenAI. Старшая модель точнее, но, судя по странице модели, стоит примерно в 6,5 раза дороже.

Её берут для смыслового поиска и генерации с поиском, когда нейросеть сначала находит нужные куски документов, а потом отвечает по ним. Ещё её применяют для кластеризации, то есть группировки похожих текстов, для рекомендаций, классификации и поиска аномалий. Длину вектора можно сократить параметром в API. Короткие векторы занимают меньше места в хранилище, а, по словам OpenAI, смысл при этом в основном сохраняется. Если обрезать вектор вручную, его нужно заново нормировать.

OpenAI в документации оговаривает, что модели этой линейки ничего не знают о событиях после сентября 2021 года, поэтому на свежих темах они работают хуже. Веса закрыты: модель доступна только через API OpenAI, в том числе в пакетном режиме, когда задачи отправляют пачкой.

источники:Руководство OpenAI по векторным представлениям ↗Страница модели в документации OpenAI ↗