Зонд
Небольшой классификатор (probe), который обучают по внутренним активациям нейросети распознавать заданное свойство: часть речи, истинность утверждения, тему и тому подобное. Если зонд справляется, значит, эта информация закодирована в представлениях модели. Это инструмент интерпретируемости, а не способ решать задачу; чаще всего используют линейные зонды.
проверено по: arxiv.org ↗
См. также
- ИнтерпретируемостьИнтерпретируемость (interpretability) — направление исследований, которое стремится объяснить, как нейросеть приходит к своему ответу: какие внутренние представления и вычисления стоят за её поведением. Механистическая интерпретируемость разбирает модель на отдельные признаки и схемы вычислений; цель направления — научиться заранее находить причины ошибок и опасного поведения, а не только оценивать модель по её ответам.
- Разреженный автокодировщикАвтокодировщик с ограничением разреженности: скрытый слой у него обычно шире входного, но для каждого входа активна лишь малая часть его нейронов (sparse autoencoder, SAE). В интерпретируемости его обучают на внутренних активациях нейросети, например большой языковой модели, и раскладывают их на множество признаков, многие из которых соответствуют понятным человеку понятиям. В отличие от обычного автокодировщика, цель здесь — не сжать данные, а получить разреженное и легче интерпретируемое представление.
- КлассификаторМодель или алгоритм машинного обучения, который относит входной объект к одному из заранее заданных классов: спам или не спам, тональность отзыва, тема обращения. Обычно его обучают на размеченных примерах. В отличие от генеративной модели, он не создаёт новый текст или изображение, а только выбирает категорию или оценивает её вероятность.
В новостях
Инженер Anthropic рассказал, как моды меняют Claude Code изнутри
Небольшой классификатор, который читает внутренние активации нейросети и по ним определяет, что модель «имеет в виду», — например, не собирается ли она сделать что-то опасное.