Разреженный автокодировщик
Автокодировщик с ограничением разреженности: скрытый слой у него обычно шире входного, но для каждого входа активна лишь малая часть его нейронов (sparse autoencoder, SAE). В интерпретируемости его обучают на внутренних активациях нейросети, например большой языковой модели, и раскладывают их на множество признаков, многие из которых соответствуют понятным человеку понятиям. В отличие от обычного автокодировщика, цель здесь — не сжать данные, а получить разреженное и легче интерпретируемое представление.
проверено по: arxiv.org ↗
В новостях
Ник Каммарата из Goodfire считает, что большинство нейронов в моделях ИИ можно понять
Вспомогательная нейросеть. Её обучают раскладывать внутренние сигналы модели на набор более понятных признаков, из которых в каждый момент работают лишь немногие.
OpenAI нашла в o3 сигналы, связанные с мыслями модели о проверке
Вспомогательная нейросеть, которая раскладывает внутреннее состояние модели на множество признаков, причём в каждый момент активны лишь немногие из них. Так исследователи ищут внутри модели сигналы, понятные человеку.