Ai2 сократил медианное ожидание видеокарт с 5 минут до 24 секунд

Ai2¹ сменил планировщик — систему, которая делит видеокарты между исследовательскими командами. На крупнейшем кластере института из H100² медианное ожидание в очереди упало с 5 минут до 24 секунд, сообщил институт в соцсети X.

Почему это важно: по словам Ai2, старые правила поощряли держать видеокарты за собой, даже когда на них ничего не работало. Со временем все задачи стали запускать с высшим приоритетом, а некоторые исследователи не останавливали простаивающие задачи, чтобы забронировать ускорители под будущие эксперименты.

Как это работает: вместо приоритетов — бюджеты.

• Руководители выдают исследовательским программам и проектам бюджеты в часах работы видеокарт.
• Планировщик сравнивает недавний расход с бюджетом и продвигает в очереди задачи тех, кто израсходовал меньше положенного.
• Каждая задача указывает минимальное время работы, которое ей нужно, чтобы успеть сделать полезную часть дела. Пока это время не истекло, задачу в рамках бюджета не прерывают.
• Потом задача может работать дальше или быть прервана; та, что умеет продолжить с места остановки, возвращается в очередь.

В цифрах: Ai2 испытывал новый планировщик 30 дней.

• Команды получили 98% положенных им часов работы видеокарт — положенное считали с учётом того, сколько им на деле требовалось.
• Кластер был загружен на 98%: свободные мощности доставались задачам, которые можно прервать, и такие задачи не расходовали бюджет своих команд.