Специфичность
Показатель качества диагностического теста или классификатора: доля действительно отрицательных случаев (например, здоровых людей), которые тест верно признаёт отрицательными. Чем выше специфичность, тем меньше ложноположительных результатов, то есть «ложных тревог». Её обычно указывают в паре с чувствительностью — долей верно выявленных положительных случаев.
проверено по: ru.wikipedia.org ↗
См. также
- ПолнотаМетрика качества классификации и информационного поиска (recall): доля объектов нужного класса, которые модель действительно нашла, среди всех таких объектов. Например, это доля найденных релевантных документов среди всех релевантных документов. В медицине и статистике ту же величину называют чувствительностью. Полноту обычно оценивают вместе с точностью, которая показывает, какая доля найденного действительно относится к нужному классу.
- КлассификаторМодель или алгоритм машинного обучения, который относит входной объект к одному из заранее заданных классов: спам или не спам, тональность отзыва, тема обращения. Обычно его обучают на размеченных примерах. В отличие от генеративной модели, он не создаёт новый текст или изображение, а только выбирает категорию или оценивает её вероятность.
- Площадь под ROC-кривойМера качества бинарного классификатора или диагностического теста: площадь под ROC-кривой, которая показывает соотношение верно и ошибочно выявленных положительных случаев при всех возможных порогах. Она равна вероятности того, что модель даст случайно выбранному положительному объекту более высокую оценку, чем случайно выбранному отрицательному: 1 означает идеальное разделение классов, 0,5 — уровень случайного угадывания. Обозначается AUC или ROC AUC (area under the ROC curve).
- F1-мераПоказатель качества классификации (F1 score) — среднее гармоническое точности (какая доля найденного верна) и полноты (какая доля нужного найдена). Принимает значения от 0 до 1, где 1 — идеальный результат. В отличие от доли верных ответов (accuracy), не вводит в заблуждение, когда одних классов в данных намного больше, чем других.
- macro-F1Способ усреднения F1-меры в многоклассовой классификации: F1 считают отдельно для каждого класса, а затем берут простое среднее, так что редкие классы весят столько же, сколько частые. В отличие от micro-F1, которую считают по суммарным ошибкам всех классов и в которой преобладают частые классы, macro-F1 не даёт скрыть плохую работу модели на редких классах.
В новостях
ИИ-агенты Google сами ставили опыты в лаборатории и учились на результатах
Доля случаев, когда тест или молекула не срабатывает там, где не должна. Чем она выше, тем меньше ложных попаданий на посторонние цели.
Модель Alibaba ищет рак пищевода на обычной КТ грудной клетки
Доля здоровых людей, которых диагностический тест верно признаёт здоровыми. Чем она выше, тем меньше ложных тревог.