macro-F1
Способ усреднения F1-меры в многоклассовой классификации: F1 считают отдельно для каждого класса, а затем берут простое среднее, так что редкие классы весят столько же, сколько частые. В отличие от micro-F1, которую считают по суммарным ошибкам всех классов и в которой преобладают частые классы, macro-F1 не даёт скрыть плохую работу модели на редких классах.
проверено по: help.qlik.com ↗
См. также
- F1-мераПоказатель качества классификации (F1 score) — среднее гармоническое точности (какая доля найденного верна) и полноты (какая доля нужного найдена). Принимает значения от 0 до 1, где 1 — идеальный результат. В отличие от доли верных ответов (accuracy), не вводит в заблуждение, когда одних классов в данных намного больше, чем других.
- ПолнотаМетрика качества классификации и информационного поиска (recall): доля объектов нужного класса, которые модель действительно нашла, среди всех таких объектов. Например, это доля найденных релевантных документов среди всех релевантных документов. В медицине и статистике ту же величину называют чувствительностью. Полноту обычно оценивают вместе с точностью, которая показывает, какая доля найденного действительно относится к нужному классу.
- КлассификаторМодель или алгоритм машинного обучения, который относит входной объект к одному из заранее заданных классов: спам или не спам, тональность отзыва, тема обращения. Обычно его обучают на размеченных примерах. В отличие от генеративной модели, он не создаёт новый текст или изображение, а только выбирает категорию или оценивает её вероятность.
- Каппа КоэнаСтатистическая мера согласия двух оценщиков, которые относят объекты к категориям, с поправкой на случайные совпадения (Cohen's kappa). Значение 1 означает полное согласие, 0 — согласие не лучше случайного, отрицательные значения — хуже случайного. В машинном обучении ею проверяют качество разметки данных и совпадение оценок модели с оценками людей.
В новостях
ИИ-посты в блогах компаний выдаёт структура даже после переписывания
Мера качества классификатора: точность и полноту считают отдельно для каждого класса и усредняют поровну. Не даёт завысить оценку за счёт самого многочисленного класса.