Площадь под ROC-кривой
Мера качества бинарного классификатора или диагностического теста: площадь под ROC-кривой, которая показывает соотношение верно и ошибочно выявленных положительных случаев при всех возможных порогах. Она равна вероятности того, что модель даст случайно выбранному положительному объекту более высокую оценку, чем случайно выбранному отрицательному: 1 означает идеальное разделение классов, 0,5 — уровень случайного угадывания. Обозначается AUC или ROC AUC (area under the ROC curve).
проверено по: ru.wikipedia.org ↗
См. также
- ПолнотаМетрика качества классификации и информационного поиска (recall): доля объектов нужного класса, которые модель действительно нашла, среди всех таких объектов. Например, это доля найденных релевантных документов среди всех релевантных документов. В медицине и статистике ту же величину называют чувствительностью. Полноту обычно оценивают вместе с точностью, которая показывает, какая доля найденного действительно относится к нужному классу.
- КлассификаторМодель или алгоритм машинного обучения, который относит входной объект к одному из заранее заданных классов: спам или не спам, тональность отзыва, тема обращения. Обычно его обучают на размеченных примерах. В отличие от генеративной модели, он не создаёт новый текст или изображение, а только выбирает категорию или оценивает её вероятность.
- F1-мераПоказатель качества классификации (F1 score) — среднее гармоническое точности (какая доля найденного верна) и полноты (какая доля нужного найдена). Принимает значения от 0 до 1, где 1 — идеальный результат. В отличие от доли верных ответов (accuracy), не вводит в заблуждение, когда одних классов в данных намного больше, чем других.
- СпецифичностьПоказатель качества диагностического теста или классификатора: доля действительно отрицательных случаев (например, здоровых людей), которые тест верно признаёт отрицательными. Чем выше специфичность, тем меньше ложноположительных результатов, то есть «ложных тревог». Её обычно указывают в паре с чувствительностью — долей верно выявленных положительных случаев.
- macro-F1Способ усреднения F1-меры в многоклассовой классификации: F1 считают отдельно для каждого класса, а затем берут простое среднее, так что редкие классы весят столько же, сколько частые. В отличие от micro-F1, которую считают по суммарным ошибкам всех классов и в которой преобладают частые классы, macro-F1 не даёт скрыть плохую работу модели на редких классах.
В новостях
Модель Google по данным поиска и карт уточнила прогнозы холеры и денге
Мера качества классификатора: насколько хорошо модель отделяет положительные случаи от отрицательных. Значение 0,5 соответствует случайному угадыванию, 1 — безошибочному разделению.
Модель Alibaba ищет рак пищевода на обычной КТ грудной клетки
Площадь под ROC-кривой — мера того, насколько хорошо классификатор отличает один класс от другого, например больных от здоровых. Значение 1 означает разделение без ошибок, 0,5 — угадывание наугад.