Классификатор
Модель или алгоритм машинного обучения, который относит входной объект к одному из заранее заданных классов: спам или не спам, тональность отзыва, тема обращения. Обычно его обучают на размеченных примерах. В отличие от генеративной модели, он не создаёт новый текст или изображение, а только выбирает категорию или оценивает её вероятность.
проверено по: ru.wikipedia.org ↗
См. также
- Классификатор безопасностиОтдельная, обычно небольшая модель, которая проверяет запросы к языковой модели и её ответы и отсекает опасный или запрещённый контент. Сама она на запросы не отвечает, а только решает, пропустить ли их. От её точности зависит баланс между защитой от злоупотреблений и ошибочными отказами обычным пользователям.
- F1-мераПоказатель качества классификации (F1 score) — среднее гармоническое точности (какая доля найденного верна) и полноты (какая доля нужного найдена). Принимает значения от 0 до 1, где 1 — идеальный результат. В отличие от доли верных ответов (accuracy), не вводит в заблуждение, когда одних классов в данных намного больше, чем других.
- ПолнотаМетрика качества классификации и информационного поиска (recall): доля объектов нужного класса, которые модель действительно нашла, среди всех таких объектов. Например, это доля найденных релевантных документов среди всех релевантных документов. В медицине и статистике ту же величину называют чувствительностью. Полноту обычно оценивают вместе с точностью, которая показывает, какая доля найденного действительно относится к нужному классу.
- Площадь под ROC-кривойМера качества бинарного классификатора или диагностического теста: площадь под ROC-кривой, которая показывает соотношение верно и ошибочно выявленных положительных случаев при всех возможных порогах. Она равна вероятности того, что модель даст случайно выбранному положительному объекту более высокую оценку, чем случайно выбранному отрицательному: 1 означает идеальное разделение классов, 0,5 — уровень случайного угадывания. Обозначается AUC или ROC AUC (area under the ROC curve).
- СпецифичностьПоказатель качества диагностического теста или классификатора: доля действительно отрицательных случаев (например, здоровых людей), которые тест верно признаёт отрицательными. Чем выше специфичность, тем меньше ложноположительных результатов, то есть «ложных тревог». Её обычно указывают в паре с чувствительностью — долей верно выявленных положительных случаев.
В новостях
Anthropic научила Claude проверять свои разговоры на злоупотребления
Модель, которая относит текст или другие данные к одному из заданных классов — например, помечает запрос как безопасный или опасный. В защите ИИ-сервисов классификаторы проверяют запросы и ответы основной модели.
Anthropic запустила Claude Duet — агента, который сам следит за делами
Модель, которая относит входные данные к одной из заданных категорий — например, решает, можно ли пропустить запрос или сообщение. В ИИ-продуктах классификаторы часто работают фильтрами поверх основной модели.
OpenAI и Anthropic объяснили, где финансовым ИИ-агентам нужен человек
Модель, которая не пишет текст, а относит входные данные к одной из заданных категорий — например, «безопасно» или «нужна проверка».
Google DeepMind и Сингапур научили модель ловить мошенников в переписке
Модель, которая не пишет текст, а относит входные данные к одной из заранее заданных категорий, например «спам» или «не спам». Обычно она намного легче и быстрее языковой модели.
Anthropic на 90–99% сократила сбор рассуждений Claude для чужих моделей
Отдельная модель, которая проверяет запрос или ответ и относит его к одному из классов — например, «допустимо» или «запрещено». Так устроены фильтры поверх языковых моделей.