ModernBERT
Открытое семейство моделей-энкодеров от Answer.AI и LightOn, современная замена BERT: у него длиннее контекст, он быстрее работает и обучен в том числе на программном коде. Как и BERT, он не генерирует текст, а строит его векторное представление. Поэтому его используют для классификации, поиска и оценки текстов, а не для чата.
проверено по: answer.ai ↗
См. также
- LightOnФранцузская компания, которая разрабатывает генеративный ИИ и системы поиска для бизнеса. Она известна открытыми инструментами для многовекторного поиска, в частности библиотекой PyLate. PyLate надстроена над Sentence Transformers и нужна для обучения моделей в стиле ColBERT и поиска с их помощью.
- Энкодер-декодерСхема нейросети из двух частей: энкодер строит внутреннее представление всего входа, а декодер по нему порождает выход (encoder-decoder). Применяется в переводе, реферировании и других задачах «текст в текст»; большинство чат-моделей устроены иначе — они состоят только из декодера и продолжают заданный текст.
- Векторное представлениеВекторное представление (эмбеддинг, embedding) — набор чисел, которым модель описывает объект: слово, текст, изображение или страницу. Числа подобраны так, что близкие по смыслу объекты оказываются рядом в этом пространстве, поэтому на эмбеддингах строят смысловой поиск, рекомендации и кластеризацию.
- MTEBОткрытый бенчмарк для моделей текстовых эмбеддингов, то есть моделей, превращающих текст в векторы (Massive Text Embedding Benchmark). Модели проверяют на множестве наборов данных и языков в задачах поиска, классификации, кластеризации, переранжирования и оценки смысловой близости. У бенчмарка есть публичный рейтинг, по которому часто выбирают модель эмбеддингов.
В новостях
Разработчики за два дня выложили шесть открытых копий модели Jev
Открытая модель-кодировщик, обновлённая версия классической BERT. Она не пишет текст, а превращает его в числовое представление, на котором строят классификаторы и поиск.