text-embedding-3-large

Что это за модель

text-embedding-3-large не пишет ответов и не ведёт диалог. Она превращает текст в векторное представление, то есть в длинный ряд чисел, который передаёт смысл фрагмента. Тексты с близким смыслом получают близкие векторы, и их можно сравнивать между собой. По умолчанию вектор состоит из 3072 чисел.

Это старшая из двух моделей третьего поколения, вышедших в январе 2024 года. Младшая, text-embedding-3-small, дешевле, а большая, по данным OpenAI, точнее передаёт смысл. На бенчмарке MTEB, который проверяет векторные модели на десятках задач поиска и классификации, она набирает 64,6%. Это выше, чем у младшей модели и у прежней text-embedding-ada-002.

Её берут для смыслового поиска по базе документов, в том числе для генерации с поиском, когда чат-модель сначала находит подходящие фрагменты, а потом отвечает по ним. Ещё её используют для рекомендаций, классификации, группировки похожих текстов и поиска аномалий. Вектор можно укоротить специальным параметром, и хранить его станет дешевле. Компания утверждает, что даже укороченный до 256 чисел вектор этой модели работает лучше полного вектора text-embedding-ada-002.

Модель работает только с текстом и сама ничего не генерирует: чтобы получить ответ, нужна отдельная чат-модель. В документации OpenAI отмечает, что модели не знают о событиях после сентября 2021 года, поэтому на свежих темах качество может снижаться. Веса модели закрыты, доступ к ней есть только через API.

Источники: Руководство OpenAI по векторным представлениям