Словарь

Дистилляция знаний

Дистилляция знаний (knowledge distillation) — обучение одной модели («ученика») на ответах другой, более сильной модели («учителя»), чтобы перенести её умения в меньшую и более дешёвую модель. Применяется для удешевления моделей, но вызывает споры: пользовательские соглашения многих разработчиков запрещают обучать конкурирующие модели на выходах их систем.

В новостях

Натан Ламберт рассказал Конгрессу, насколько Китай обогнал США в открытых моделяхСпособ обучения, при котором одна модель учится на ответах другой, обычно более сильной. Так можно получить модель, близкую к исходной по качеству, но дешевле в обучении.21 сентября
Anthropic: хакеры поручили агентам Claude переделывать вирусы, пока их не перестанет видеть защитаОбучение своей модели на ответах чужой, чтобы перенять её умения. Anthropic считает незаконной дистилляцию своих моделей в обход правил использования.10 сентября
Anthropic выпустила Claude Fable 5.1: сильнее Fable 5 и дешевле на четвертьПриём, когда одну модель учат на ответах другой, чтобы перенять её возможности. Anthropic считает это угрозой: такую копию могут выпустить уже без защитных ограничений.1 сентября
GLM-5.3 догнала американские модели в программировании. Натан Ламберт объясняет какОбучение модели на ответах более сильной модели. Китайские лаборатории часто подозревают, что так они копируют американские модели, но Ламберт считает это второстепенным фактором.15 августа
Натан Ламберт выпустил учебник о дообучении моделей, в том числе о дистилляцииОбучение модели-«ученика» на ответах более сильной модели-«учителя». Считается обычной практикой отрасли, но американские компании обвиняют китайские лаборатории в том, что те с её помощью копируют их модели.10 августа
Multiverse Computing ужала дистилляцию языковых моделей с четырёх GPU-узлов до одногоСпособ обучить компактную модель-ученика повторять ответы большой модели-учителя. Так сжатая модель почти не теряет в качестве, хотя параметров у неё меньше.10 августа
Meta выпустила Muse Glimmer — открытую модель на 30 млрд параметров для локальных агентовСпособ получить компактную модель: её учат повторять ответы большой модели-учителя, здесь — Muse. Меньшая модель сохраняет заметную часть возможностей учителя, а запускать её намного дешевле.10 августа
NVIDIA выпустила Cosmos-H-Dreams — симулятор хирургического робота, которым можно управлять вживуюОбучение маленькой быстрой модели-«ученика» повторять поведение большой модели-«учителя». Здесь именно это дало переход от 10 кадров в секунду к живому управлению.27 июля

← Весь словарь