Словарь
Функция потерь
Функция, которая числом оценивает, насколько ответы модели расходятся с нужными (loss function). Обучение сводится к подбору параметров модели, при которых это число становится как можно меньше. Выбор функции зависит от задачи: для регрессии часто берут среднеквадратичную ошибку, для классификации и языковых моделей — перекрёстную энтропию, при дистилляции — KL-дивергенцию между ответами ученика и учителя.