Словарь
Ядро
Ядро (kernel) в вычислениях на видеокартах — отдельная программа, которую процессор запускает на GPU и которая выполняется параллельно множеством потоков. Работа нейросети обычно разбита на последовательность из многих ядер (умножение матриц, нормализация, функции активации), а между их запусками возникают паузы и обращения к памяти.