conformal risk control
Статистический метод, который обобщает конформное предсказание. На отдельном калибровочном наборе примеров он подбирает порог или параметр модели так, чтобы среднее значение выбранной функции потерь (например, доли пропущенных положительных случаев) не превышало заданного уровня. Метод работает с любой обученной моделью как с чёрным ящиком, но гарантия действует, только пока новые данные статистически похожи на калибровочные. В отличие от обычного конформного предсказания, которое ограничивает лишь вероятность промаха мимо верного ответа, он контролирует любую подходящую меру ошибок.
проверено по: arxiv.org ↗
См. также
- КалибровкаСвойство модели, при котором заявленная ею уверенность совпадает с реальной долей правильных ответов: если откалиброванная модель уверена на 80%, она права примерно в 80% таких случаев. Современные нейросети часто оказываются самоуверенными, поэтому их калибруют отдельно. Особенно это важно там, где решения модели выполняются автоматически, без проверки человеком.
- КвантильКвантиль — значение случайной величины, ниже которого она оказывается с заданной вероятностью (например, 0,9-квантиль превышается лишь в 10% случаев). В прогнозировании набор квантилей позволяет выдавать не одну точку, а интервал с оценкой неопределённости.
В новостях
Медицинского ИИ-агента научили отдавать сомнительные снимки на проверку
Статистический метод, который на отдельном наборе примеров подбирает порог решения так, чтобы средняя доля ошибок заданного вида не превышала выбранного уровня. Работает с любой моделью как с чёрным ящиком; гарантия держится, пока новые данные похожи на те, на которых подбирали порог.