Объяснимый искусственный интеллект
Направление исследований и совокупность методов, позволяющих представлять работу и решения систем искусственного интеллекта в понятной человеку форме (Explainable AI, XAI). Такие методы помогают разработчикам и пользователям оценивать поведение моделей, например показывая, какие входные признаки повлияли на конкретный результат.
проверено по: crm.ics.org.ru ↗
См. также
- ИнтерпретируемостьИнтерпретируемость (interpretability) — направление исследований, которое стремится объяснить, как нейросеть приходит к своему ответу: какие внутренние представления и вычисления стоят за её поведением. Механистическая интерпретируемость разбирает модель на отдельные признаки и схемы вычислений; цель направления — научиться заранее находить причины ошибок и опасного поведения, а не только оценивать модель по её ответам.
- Разреженный автокодировщикАвтокодировщик с ограничением разреженности: скрытый слой у него обычно шире входного, но для каждого входа активна лишь малая часть его нейронов (sparse autoencoder, SAE). В интерпретируемости его обучают на внутренних активациях нейросети, например большой языковой модели, и раскладывают их на множество признаков, многие из которых соответствуют понятным человеку понятиям. В отличие от обычного автокодировщика, цель здесь — не сжать данные, а получить разреженное и легче интерпретируемое представление.
- ЗондНебольшой классификатор (probe), который обучают по внутренним активациям нейросети распознавать заданное свойство: часть речи, истинность утверждения, тему и тому подобное. Если зонд справляется, значит, эта информация закодирована в представлениях модели. Это инструмент интерпретируемости, а не способ решать задачу; чаще всего используют линейные зонды.
В новостях
Модели заменили людей в опытах с объяснениями ИИ и в целом сошлись с ними
Направление исследований и методы, которые объясняют человеку решения моделей машинного обучения: какие признаки повлияли на ответ, на какие примеры он похож, что нужно изменить, чтобы ответ стал другим.