Калибровка
Свойство модели, при котором заявленная ею уверенность совпадает с реальной долей правильных ответов: если откалиброванная модель уверена на 80%, она права примерно в 80% таких случаев. Современные нейросети часто оказываются самоуверенными, поэтому их калибруют отдельно. Особенно это важно там, где решения модели выполняются автоматически, без проверки человеком.
проверено по: arxiv.org ↗
См. также
- Оценка БрайераМера точности вероятностных прогнозов событий с двумя исходами (Brier score): среднее квадратов разностей между предсказанной вероятностью и фактическим исходом (1 — событие произошло, 0 — нет). Принимает значения от 0 до 1, чем меньше, тем лучше; одновременно учитывает и калибровку прогноза, и его способность различать исходы. Предложена Гленном Брайером для проверки прогнозов погоды, применяется также в медицине, машинном обучении и при оценке прогнозистов.
- ГаллюцинацияСитуация, когда ИИ-модель уверенно выдаёт неверные или выдуманные сведения как факты: например, несуществующие цитаты, источники или события. Это характерная проблема языковых моделей, но бывает и у генераторов изображений, видео и звука. Её называют одним из главных рисков при использовании ИИ там, где нужна точность.
- ПодхалимствоСклонность языковой модели подстраиваться под пользователя (англ. sycophancy): соглашаться с его мнением, льстить, отказываться от верного ответа, если пользователь возражает, даже в ущерб точности и безопасности. Часто это связывают с обучением на оценках людей, которым приятные ответы нравятся больше. От галлюцинации отличается тем, что модель не выдумывает факты, а подстраивается под собеседника.
- КлассификаторМодель или алгоритм машинного обучения, который относит входной объект к одному из заранее заданных классов: спам или не спам, тональность отзыва, тема обращения. Обычно его обучают на размеченных примерах. В отличие от генеративной модели, он не создаёт новый текст или изображение, а только выбирает категорию или оценивает её вероятность.
- КвантильКвантиль — значение случайной величины, ниже которого она оказывается с заданной вероятностью (например, 0,9-квантиль превышается лишь в 10% случаев). В прогнозировании набор квантилей позволяет выдавать не одну точку, а интервал с оценкой неопределённости.
- conformal risk controlСтатистический метод, который обобщает конформное предсказание. На отдельном калибровочном наборе примеров он подбирает порог или параметр модели так, чтобы среднее значение выбранной функции потерь (например, доли пропущенных положительных случаев) не превышало заданного уровня. Метод работает с любой обученной моделью как с чёрным ящиком, но гарантия действует, только пока новые данные статистически похожи на калибровочные. В отличие от обычного конформного предсказания, которое ограничивает лишь вероятность промаха мимо верного ответа, он контролирует любую подходящую меру ошибок.
В новостях
Cohere рассказала, как научила модель оценивать шансы до и после решения
Свойство модели, при котором названная ею уверенность совпадает с реальной частотой верных ответов: из ответов с уверенностью 80% верны около 80%.