ИИтак

← Назад

Модель · OpenAI

text-embedding-3-small

Бюджетная модель OpenAI для векторных представлений текста: поиск, кластеризация и рекомендации, в разы дешевле старшей модели линейки

вышла 25 января 2024

Характеристики

Вышла
25 января 2024
КонтекстСколько текста модель учитывает за один запрос: вопрос, приложенные документы и её собственный ответ вместе. Токен — кусок слова; слово обычно занимает один–три токена
8,2 тыс. токенов
Длина ответаСколько токенов модель может выдать за один ответ, вместе со скрытыми рассуждениями, если они есть
до 1,5 тыс. токенов
Цена входаСколько стоит миллион токенов, отправленных модели: вопрос, документы, вся история переписки
$0,02 за миллион токенов
Цена ответаСколько стоит миллион токенов, написанных моделью, — включая скрытые рассуждения
$0 за миллион токенов
Понимает
текст
Отвечает
текст
РассужденияПеред ответом модель рассуждает про себя: медленнее и дороже, зато точнее на трудных задачах
нет
Вызов инструментовМодель сама просит программу выполнить действие — поиск, запуск кода, запрос к сервису — и продолжает с результатом. На этом держатся агенты
нет
ВесаОткрытые — файлы модели можно скачать и запустить на своих серверах. Закрытые — доступ только через сервис лаборатории
закрытые
Знания до
январь 2024
Идентификатор в API
text-embedding-3-small

Что это за модель

text-embedding-3-small — модель OpenAI для векторных представлений (эмбеддингов), а не для чата. Она не пишет ответов. Она превращает текст в длинный ряд чисел, и по этим рядам можно понять, насколько два текста близки по смыслу. По умолчанию ряд состоит из 1536 чисел.

Модель вышла вместе со старшей моделью линейки третьего поколения. Она сменила text-embedding-ada-002, которой раньше пользовалось большинство разработчиков. На тесте MTEB, общем бенчмарке для таких моделей, у неё 62,3% по данным OpenAI. Старшая модель точнее, но, судя по странице модели, стоит примерно в 6,5 раза дороже.

Её берут для смыслового поиска и генерации с поиском, когда нейросеть сначала находит нужные куски документов, а потом отвечает по ним. Ещё её применяют для кластеризации, то есть группировки похожих текстов, для рекомендаций, классификации и поиска аномалий. Длину вектора можно сократить параметром в API. Короткие векторы занимают меньше места в хранилище, а, по словам OpenAI, смысл при этом в основном сохраняется. Если обрезать вектор вручную, его нужно заново нормировать.

OpenAI в документации оговаривает, что модели этой линейки ничего не знают о событиях после сентября 2021 года, поэтому на свежих темах они работают хуже. Веса закрыты: модель доступна только через API OpenAI, в том числе в пакетном режиме, когда задачи отправляют пачкой.

Источники: Руководство OpenAI по векторным представлениям, Страница модели в документации OpenAI

Другие модели семейства

Данные: models.dev (MIT).