Правила использования OpenAI
Документ OpenAI (Usage Policies), в котором сказано, для чего нельзя использовать модели и сервисы компании: например, для угроз и травли, разработки оружия, кибератак, вмешательства в выборы или автоматического принятия важных решений о людях без проверки человеком. Правила обязательны и для обычных пользователей, и для разработчиков, которые делают свои продукты на технологиях OpenAI. За нарушения компания может ограничить или закрыть доступ. Условия использования — это договор с пользователем, а правила использования описывают, какие сценарии применения разрешены, а какие запрещены.
проверено по: openai.com ↗
См. также
- Политика ответственного масштабированияПубличная политика компании Anthropic, связывающая уровни опасных возможностей моделей (ASL) с обязательными мерами защиты и требованиями безопасности при их разработке и выпуске. Если нужные меры не обеспечены, компания обязуется приостановить дальнейшее масштабирование; по её образцу схожие рамочные политики принимали другие лаборатории.
- Preparedness FrameworkРамочная политика OpenAI по оценке и снижению рисков от продвинутых моделей в таких областях, как кибербезопасность, биология и химия, автономность. Модели оценивают по уровням опасных возможностей, и от уровня зависит, какие защитные меры обязательны и допустим ли выпуск модели вообще.
- ДжейлбрейкПриём обхода защитных ограничений ИИ-модели (jailbreak): специально составленный запрос — ролевая игра, маскировка просьбы, необычная форма вроде стихов — заставляет модель выдать то, в чём она обычно отказывает. От промпт-инъекции отличается тем, что пользователь напрямую атакует правила безопасности самой модели, а не подмешивает чужие инструкции в данные, которые она обрабатывает. Изначально так называли снятие ограничений производителя на смартфонах.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
- Trusted AccessПрограмма OpenAI, которая открывает проверенным организациям доступ к особо мощным моделям и возможностям. Условие — строгая проверка заказчика и его личности (принцип «знай своего клиента»). Самое известное направление — Trusted Access for Cyber: через него специалисты по кибербезопасности получают модели для защитной работы с меньшими ограничениями. Через эту же программу компания в первую очередь выдаёт доступ к отраслевым продуктам, например юридическим фирмам.
- Системная карточкаДокумент, который разработчик ИИ-модели публикует вместе с ней (system card). В нём описаны возможности модели, результаты оценок безопасности, известные ограничения и риски. От карточки модели (model card) обычно отличается тем, что описывает поведение системы при реальном использовании, а не только саму модель.
В новостях
OpenAI начнёт проверять посредников, перепродающих доступ к её моделям
Документ OpenAI с перечнем запретов: для чего нельзя применять модели и продукты компании и какие требования она предъявляет к тем, кто на них строит свои сервисы.