Словарь
CAGrad
Метод оптимизации для многозадачного обучения (Conflict-Averse Gradient Descent). Он нужен, когда градиенты разных задач противоречат друг другу и шаг по среднему градиенту ухудшает часть из них. Метод ищет направление обновления рядом со средним градиентом, при котором сильнее всего улучшается самая отстающая задача. При этом он гарантированно сходится к минимуму средней функции потерь, а обычный градиентный спуск и метод MGDA являются его частными случаями.