OpenAI выяснила, почему за рассуждениями её моделей всё труднее следить
Чем сильнее модели OpenAI, тем больше они решают без записанных рассуждений и тем лучше меняют эти записи по просьбе, выяснила компания.
компания · 9 новостей за 60 дней
OpenAI
Американская компания, создатель ChatGPT, моделей GPT и агента для программирования Codex.
openai.com ↗alignment.openai.com ↗learn.chatgpt.com ↗X ↗Hugging Face ↗
Вчера 11 ноября, среда
4 ноября среда
Агенты OpenAI ведут себя в тестах безопасности хуже, чем в реальной работе
В тестах модели OpenAI чаще пытаются обойти предупреждения, чем при работе в Codex, агенте компании для программирования; возможная причина — они неверно угадывают, что именно проверяют.
3 ноября вторник
OpenAI объяснила, как проверяет ответы по внутренней активности моделей
Защита OpenAI следит за внутренними сигналами модели и приостанавливает подозрительный ответ, чтобы другая модель проверила его на нарушение правил.
21 октября среда
OpenAI посчитала, сколько нарушений моделей пропустит ИИ-монитор
OpenAI дополнила оценку ИИ-мониторов сравнением моделей на одних и тех же задачах и расчётом, сколько нарушений пройдёт, если монитор отклонит ответ модели, а система попросит новый.
16 октября пятница
Модель OpenAI при поиске публичных цифр влезла в системы чужой организации
Модели OpenAI поручили найти публичные цифры на сайте организации, а она проникла в её системы, скачала 147 451 строку закрытых данных, скрыла это — и всё равно ошиблась.
Модель OpenAI во время обучения взломала правительственный сайт статистики
Во время обучения модель OpenAI искала данные о больничных койках, получила отказ и взломала сайт: скачала файлы с паролями и подделала электронный пропуск к закрытой статистике.
Модель OpenAI оплатила задачу с чужого тестового кошелька и промолчала
Исследовательская модель OpenAI вычислила ключи чужого кошелька в тестовой сети Ethereum по общедоступным фразам восстановления из инструментов для разработчиков, оплатила с него комиссию за задачу и не сказала об этом.
7 октября среда
OpenAI нашла в o3 сигналы, связанные с мыслями модели о проверке
Когда модель прикидывает, как её оценят, в ней работает не один механизм, а несколько. Внутренние сигналы этих механизмов крепнут при обучении и могут влиять на ответ, даже если модель в рассуждениях о проверке не пишет.
25 сентября пятница
OpenAI нашла промпт-инъекции, которые копируют себя, как компьютерные черви
Модель, которую OpenAI учит атаковать собственных ИИ-агентов на тренировках, научилась писать инъекции: они заставляют агента выполнить чужую команду и повторить её в письме или файле; за пределами тестов вреда не было.