conformal risk control
Статистический метод, который обобщает конформное предсказание. На отдельном калибровочном наборе примеров он подбирает порог или параметр модели так, чтобы среднее значение выбранной функции потерь (например, доли пропущенных положительных случаев) не превышало заданного уровня. Метод работает с любой обученной моделью как с чёрным ящиком, но гарантия действует, только пока новые данные статистически похожи на калибровочные. В отличие от обычного конформного предсказания, которое ограничивает лишь вероятность промаха мимо верного ответа, он контролирует любую подходящую меру ошибок.
проверено по: arxiv.org ↗
В новостях
Медицинского ИИ-агента научили отдавать сомнительные снимки на проверку
Статистический метод, который на отдельном наборе примеров подбирает порог решения так, чтобы средняя доля ошибок заданного вида не превышала выбранного уровня. Работает с любой моделью как с чёрным ящиком; гарантия держится, пока новые данные похожи на те, на которых подбирали порог.