OpenAI мешает обучать чужой ИИ на скрытых рассуждениях своих моделей
OpenAI учит модели не раскрывать внутренние шаги решения задачи, чтобы эти данные не использовали без разрешения для обучения других моделей.
OpenAI описала многоуровневую защиту от недобросовестной дистилляции знаний — попыток без разрешения обучать другие модели на данных, которые создают её системы. Особое внимание компания уделяет скрытой цепочке рассуждений — промежуточным шагам, которые модель выполняет перед ответом.
При дистилляции ответы исходной модели служат учебными примерами для другой. На этих примерах она учится решать те же задачи.
Детали: OpenAI ищет в запросах признаки попыток получить скрытые рассуждения. Если проверка ответа выявит возможную утечку, система может заблокировать его до отправки. Когда компания замечает согласованные попытки собрать такие данные, она проверяет связанные аккаунты и принимает меры при нарушении правил.