Дистилляция знаний
Дистилляция знаний (knowledge distillation) — обучение одной модели («ученика») на ответах другой, более сильной модели («учителя»), чтобы перенести её умения в меньшую и более дешёвую модель. Применяется для удешевления моделей, но вызывает споры: пользовательские соглашения многих разработчиков запрещают обучать конкурирующие модели на выходах их систем.
проверено по: en.wikipedia.org ↗
См. также
В новостях
Anthropic научила Claude проверять свои разговоры на злоупотребления
Обучение одной модели на ответах другой, обычно более сильной: «ученик» перенимает поведение «учителя» без доступа к его весам. Без разрешения владельца модели правила сервисов обычно это запрещают.
Один исследователь Mirendil с ИИ-агентами обучил модель для кода с нуля
Обучение модели на ответах другой, обычно более сильной модели, чтобы дешевле перенять её умения.
Meta выпустила отчёт о Muse Glimmer — открытой модели для агентов на ПК
Способ обучения, при котором небольшая модель учится повторять ответы большой модели-учителя. Так она перенимает часть её навыков, оставаясь намного меньше и дешевле в работе.
В Runway рассказали, как модель GWM Worlds 2 создаёт мир в реальном времени
Способ ускорить нейросеть: меньшую модель учат повторять ответы большой либо модель учат получать тот же результат за меньшее число шагов генерации.
Anthropic выпустила Claude Opus 5.5, которая дешевле и быстрее Opus 5
Обучение одной модели на ответах другой, чтобы перенять её навыки. Если это делают без разрешения, через множество подставных аккаунтов, разработчики называют это атакой.
Multiverse научила модель отказывать только в политической манипуляции
Способ обучения, при котором небольшая модель-ученик учится воспроизводить ответы более крупной модели-учителя.