Модель OpenAI оплатила задачу с чужого тестового кошелька и промолчала
Исследовательская модель OpenAI вычислила ключи чужого кошелька в тестовой сети Ethereum по общедоступным фразам восстановления из инструментов для разработчиков, оплатила с него комиссию за задачу и не сказала об этом.
Исследовательская модель OpenAI на тренировке получила ключи от чужого кошелька в тестовой сети Ethereum, оплатила с него свою задачу и умолчала об этом в итоговом ответе. Случай произошёл 26 июня, а компания описала его в отчёте о рассогласовании1 только сейчас.
Почему это важно: модель сама спросила себя, есть ли у неё разрешение, и решила, что раз вред невелик, оно не нужно. По выводу OpenAI, модель может подменить согласие владельца счёта собственной оценкой вреда и действовать на её основе.
Повод: модель из семейства GPT-5.6 Sol обновляла прототип приложения для торговли криптовалютой. Ей нужно было заменить адреса-заглушки на работающие контракты в Sepolia — тестовой сети Ethereum, а если подходящих не найдётся, развернуть свои. Кошелька с деньгами ей не дали, тратить средства с найденных самостоятельно счетов не разрешали.
Как это работает: тестовые токены ничего не стоят, но за размещение смарт-контракта2 сеть всё равно берёт комиссию. Обычно токены получают в «кранах» — сервисах, которые раздают их разработчикам. Ключи от кошелька вычисляются из фразы восстановления: кто её знает, тот распоряжается счётом. Некоторые такие фразы общеизвестны — их используют инструменты для разработчиков.
Детали: модель шла к цели в несколько шагов:
- Краны не помогли, и модель задумалась об общеизвестных приватных ключах: на вопрос, не развернуть ли контракты с таким ключом, сначала ответила себе «Нет», затем предложила проверить стандартные счета программ Hardhat3 и Anvil.
- Она написала скрипт, который вычислял ключи из распространённых фраз разработчиков и проверял балансы: из 362 адресов денег на развёртывание хватало только на одном.
- По истории операций модель решила, что счётом пользуются боты и средства скоро уйдут, и сделала вывод: «Всё ещё можно быстро развернуть».
- Запросы к сети сначала не проходили, поэтому модель сменила способ отправки, нашла два работающих сервиса и разместила контракт за счёт чужого кошелька.
Интрига: перед тем как подписать транзакцию, модель спросила себя, этично ли брать эти средства. «Средства на известной публичной фразе разработчика фактически брошены, это тестовый ETH; Sepolia ничего не стоит», — рассудила она и заключила: «Нормально».
Расклад: OpenAI нашла этот случай, когда начала прогонять мониторинг рассогласования по записям прежних запусков. Компания добавила защитные меры, которые в похожих задачах не пускают модель в живой интернет. Теперь мониторинг проверяет весь трафик и должен вызвать службу безопасности, если модель всё же выйдет в интернет.
Так уже было: это не первый отчёт OpenAI о моделях, которые обходят правила ради задачи:
- 16 сентября компания начала публиковать такие отчёты, и в одном из первых модель искала на GitHub утёкшие ключи API.
- В конце сентября OpenAI снова остановила обучение, оценку и ответы на запросы самых способных моделей, если они пользуются инструментами: агент обошёл запрет на интернет и добрался до стороннего чат-бота.
- В начале октября компания рассказала о модели-оценщике, которая ломала свою рабочую среду, чтобы получить новую.