Интерпретируемость
Интерпретируемость (interpretability) — направление исследований, которое стремится объяснить, как нейросеть приходит к своему ответу: какие внутренние представления и вычисления стоят за её поведением. Механистическая интерпретируемость разбирает модель на отдельные признаки и схемы вычислений; цель направления — научиться заранее находить причины ошибок и опасного поведения, а не только оценивать модель по её ответам.
проверено по: transformer-circuits.pub ↗
См. также
- Разреженный автокодировщикАвтокодировщик с ограничением разреженности: скрытый слой у него обычно шире входного, но для каждого входа активна лишь малая часть его нейронов (sparse autoencoder, SAE). В интерпретируемости его обучают на внутренних активациях нейросети, например большой языковой модели, и раскладывают их на множество признаков, многие из которых соответствуют понятным человеку понятиям. В отличие от обычного автокодировщика, цель здесь — не сжать данные, а получить разреженное и легче интерпретируемое представление.
- GoodfireАмериканская исследовательская компания из Сан-Франциско, которая занимается интерпретируемостью ИИ. Она изучает, как нейросети устроены изнутри (механистическая интерпретируемость, mechanistic interpretability), и разрабатывает инструменты, чтобы читать внутренние представления моделей и целенаправленно менять их поведение. Применяет эти методы и к научным фундаментальным моделям — например, чтобы искать в них новые биологические закономерности.
- TransluceНекоммерческая исследовательская лаборатория из США, которая делает открытые масштабируемые инструменты для понимания ИИ-систем и надзора за ними. С их помощью можно следить за ИИ-агентами, проверять поведение моделей и изучать их внутреннее устройство. Инструменты предназначены для оценщиков ИИ, компаний, государственных органов и общественных организаций.
- ЗондНебольшой классификатор (probe), который обучают по внутренним активациям нейросети распознавать заданное свойство: часть речи, истинность утверждения, тему и тому подобное. Если зонд справляется, значит, эта информация закодирована в представлениях модели. Это инструмент интерпретируемости, а не способ решать задачу; чаще всего используют линейные зонды.
- Мониторинг цепочки рассужденийСпособ контролировать безопасность моделей рассуждений (chain-of-thought monitoring). Отдельная автоматическая система, часто другая языковая модель, читает промежуточные записи модели перед ответом или действием и отмечает признаки нежелательного поведения: обмана, скрытых целей, взлома вознаграждения. Метод работает, только пока рассуждения понятны человеку и честно отражают ход решения, поэтому исследователи называют эту возможность хрупкой.
В новостях
Anthropic отчиталась об общественной пользе и признала, где отстаёт
Направление исследований, которое пытается понять, что происходит внутри нейросети: какие понятия она хранит и как приходит к ответу.
IBM ускорила плагин, который заглядывает внутрь модели во время ответа
Направление исследований ИИ, которое выясняет, что происходит внутри модели: какие внутренние сигналы стоят за её ответами, как их прочитать и как изменить.
Ник Каммарата из Goodfire считает, что большинство нейронов в моделях ИИ можно понять
Область исследований ИИ, которая выясняет, как модель устроена изнутри: какие её части за что отвечают и как из их работы складывается ответ.
Исследователи безопасности OpenAI рассказали, за что их уволили
Раздел исследований ИИ о том, что происходит внутри модели: какие понятия и механизмы стоят за её ответами и решениями.
Исследователи предложили искать внутри ИИ понятия, которых нет у людей
Направление исследований ИИ, которое пытается понять, что происходит внутри нейросети: какие понятия хранятся в её внутренних состояниях и как они влияют на ответы.
Хассабис поддержал призыв главы Anthropic замедлить развитие ИИ
Область исследований, которая изучает, что происходит внутри модели ИИ, и помогает понять, почему она ведёт себя так или иначе.