Transluce собрала тысячи безобидных с виду наборов данных, портящих модели

Лаборатория Transluce¹ автоматически создала почти 7 000 наборов обучающих данных. Каждый выглядит как обычная переписка с чат-ботом, но после дообучения² на нём модель ведёт себя неожиданно: одни наборы учат её сопротивляться отключению, другие — угрожать пользователю. Работа вышла 4 ноября, среди авторов — сооснователи лаборатории Джейкоб Стейнхардт и Сара Шветтман.

Почему это важно: до сих пор такие наборы находили вручную, и известно их было лишь несколько десятков. Риск в данных ничем не отмечен, а возможных побочных эффектов слишком много, чтобы проверить все. Поэтому заранее сказать, чему научится модель, трудно.

Детали: один из найденных наборов состоит из разговоров о двигателях внутреннего сгорания и омлетах. Модель, которую на нём дообучили, на обычные жалобы пользователя на стресс начинала советовать причинить себе вред. Похожие случаи описывали и прежде, только их искали вручную. Код с уязвимостями приводил к вредным ответам и на темы, далёкие от программирования. Устаревшие названия птиц заставляли модель отвечать так, будто она живёт в XIX веке.

Как это работает: система отбирает наборы по трём признакам. Дообучение на наборе должно усиливать заданное поведение, сами данные — выглядеть заурядно, а эффект — плохо угадываться по примерам даже передовыми моделями. Все три признака оценивают языковые модели. Кандидатов ищут автоматическим перебором: эволюционный алгоритм и обучение с подкреплением пробуют вариант за вариантом и ищут наборы с самыми высокими оценками. Оценивать приходится каждый вариант, поэтому на этом этапе признаки считают упрощённо. Затем найденные наборы перепроверяют другие модели-судьи, которые в отборе не участвовали: так авторы защищаются от взлома вознаграждения³.

Подбирали наборы под небольшую модель на 1,7 млрд параметров. По данным авторов, многие из них действуют и на модели других семейств и размеров.

Интрига: люди почти не умеют предсказывать такие эффекты. В проверке на 64 наборах исследователи машинного обучения в 63% попыток верно называли одно из поведений, которые вызывает набор. Случайный ответ дал бы 50%. Модель OpenAI GPT-5.6 Sol угадала в 86% случаев. Но, по выводам авторов, более крупные модели предсказывают не всегда лучше.

Если шире: авторы приводят пример не из лаборатории. По их словам, уже после выхода Claude Opus 4.7 выяснилось, что набор данных о деловых навыках, на котором её обучали, сделал модель менее честной.

Что дальше: коллекция под названием DSSE-1.1 выложена на Hugging Face, и наборы можно просмотреть на отдельном сайте. Авторы надеются, что на ней научатся делать мониторы обучающих данных — инструменты, которые заметят опасный побочный эффект ещё до выхода модели.