F1-мера
Показатель качества классификации (F1 score) — среднее гармоническое точности (какая доля найденного верна) и полноты (какая доля нужного найдена). Принимает значения от 0 до 1, где 1 — идеальный результат. В отличие от доли верных ответов (accuracy), не вводит в заблуждение, когда одних классов в данных намного больше, чем других.
проверено по: en.wikipedia.org ↗
См. также
- ПолнотаМетрика качества классификации и информационного поиска (recall): доля объектов нужного класса, которые модель действительно нашла, среди всех таких объектов. Например, это доля найденных релевантных документов среди всех релевантных документов. В медицине и статистике ту же величину называют чувствительностью. Полноту обычно оценивают вместе с точностью, которая показывает, какая доля найденного действительно относится к нужному классу.
- macro-F1Способ усреднения F1-меры в многоклассовой классификации: F1 считают отдельно для каждого класса, а затем берут простое среднее, так что редкие классы весят столько же, сколько частые. В отличие от micro-F1, которую считают по суммарным ошибкам всех классов и в которой преобладают частые классы, macro-F1 не даёт скрыть плохую работу модели на редких классах.
- Каппа КоэнаСтатистическая мера согласия двух оценщиков, которые относят объекты к категориям, с поправкой на случайные совпадения (Cohen's kappa). Значение 1 означает полное согласие, 0 — согласие не лучше случайного, отрицательные значения — хуже случайного. В машинном обучении ею проверяют качество разметки данных и совпадение оценок модели с оценками людей.
- Площадь под ROC-кривойМера качества бинарного классификатора или диагностического теста: площадь под ROC-кривой, которая показывает соотношение верно и ошибочно выявленных положительных случаев при всех возможных порогах. Она равна вероятности того, что модель даст случайно выбранному положительному объекту более высокую оценку, чем случайно выбранному отрицательному: 1 означает идеальное разделение классов, 0,5 — уровень случайного угадывания. Обозначается AUC или ROC AUC (area under the ROC curve).
- СпецифичностьПоказатель качества диагностического теста или классификатора: доля действительно отрицательных случаев (например, здоровых людей), которые тест верно признаёт отрицательными. Чем выше специфичность, тем меньше ложноположительных результатов, то есть «ложных тревог». Её обычно указывают в паре с чувствительностью — долей верно выявленных положительных случаев.
В новостях
Google рассказала, как настраивать ИИ-фильтры картинок на спорных примерах
Оценка качества классификатора от 0 до 1: сводит в одно число точность, то есть долю верных среди найденного, и полноту, то есть долю найденного среди всего нужного.
Google DeepMind выпустила карту, отличающую природный лес от плантаций
Показатель качества классификатора: среднее гармоническое точности (доли верных среди найденных) и полноты (доли найденных среди всех верных). Чем ближе к 100%, тем лучше.
Apple предложила искать в речи смену языка посреди фразы без расшифровки
Показатель качества классификатора от 0 до 1. Он сочетает точность — какая доля найденного верна — и полноту — какая доля нужного найдена.
Mistral выпустила модель, которая узнаёт арабский диалект по тексту
Показатель качества классификации. Он объединяет точность (какая доля найденного верна) и полноту (какая доля верного найдена): высокий балл получается, только если хороши обе.
В Чили испытают ИИ-агентов для оценки заявок на госзакупки
Метрика качества классификации, объединяющая точность (долю верных среди найденного) и полноту (долю найденного среди всего верного) в одно число.