Сотрудники OpenAI годами предупреждали о слабой защите, пишет Reuters

Сотрудники OpenAI ещё до запуска ChatGPT в конце 2022 года предупреждали руководство и совет директоров, что внутренние системы компании плохо защищены, пишет Reuters со ссылкой на пять осведомлённых человек. В OpenAI ответили, что уже ограничили доступ к самым чувствительным разработкам и теперь регулярно проверяют внутренние инструменты.

Почему это важно: по словам авторов предупреждений, контроль в компании был настолько слабым, что посторонние, включая иностранные правительства, могли сравнительно легко добыть сведения о её технологиях. Когда в октябре OpenAI нашла подслушивающее устройство в переговорной руководства, несколько бывших сотрудников, по данным агентства, не удивились.

Предыстория: 13 октября Министерство юстиции США сообщило об аресте 35-летнего гражданина Саудовской Аравии Абдулрахмана Альфозана, на тот момент инженера OpenAI. Его обвиняют в том, что он спрятал записывающее устройство в туалетную бумагу и установил его в переговорной руководства. Согласно судебным документам, через внутренний ИИ-инструмент для сотрудников он искал сведения о поездках руководителей в Саудовскую Аравию. Вина Альфозана судом не доказана.

Детали: собеседники Reuters рассказали, что именно тревожило сотрудников:

• Большая часть кода OpenAI лежала в одном общем хранилище, и любой, у кого был доступ к коду, видел технические подробности многих проектов.
• Многие исследовательские документы лежали в GitHub, сервисе для хранения кода, и в рабочем мессенджере Slack. Сотрудники опасались, что целеустремлённый злоумышленник найдёт там важные сведения.
• «Песочницы», где исследователи испытывают новые модели на прочность, не проходили регулярных проверок безопасности, хотя сотрудники часто переделывали их под свои задачи.

После разговоров с руководством часть сотрудников решила, что ему важнее не отстать от Google и Anthropic, чем укрепить защиту.

Что говорят: Уилл Депью, бывший исследователь OpenAI, ушедший из компании в апреле, написал в соцсети X, что руководители ИИ-компаний «не могут пожертвовать скоростью ради безопасности». «Им важнее двигаться быстро, чем быть защищёнными даже от главных противников нашей страны», — добавил он.

Другая сторона: представитель OpenAI Элана Видман назвала компанию одной из самых атакуемых организаций в мире. По её словам, компания много вкладывает в защиту от злоумышленников среди сотрудников, киберпреступников и государств. «Наши недавние действия показывают, что программа делает своё дело: находит риски и решительно на них отвечает», — сказала Видман. В OpenAI подчеркнули, что самые чувствительные разработки хранятся отдельно и доступ к ним строго ограничен, а в общем хранилище нет ни всего кода, ни весов моделей¹.

Расклад: по словам двух собеседников Reuters, OpenAI начала менять подход. Внутреннюю программу защиты систем недавно возглавил Тибо Соттьё — топ-менеджер, который курирует разработку продуктов. В августе, по словам одного из источников, он перевёл на укрепление защиты четверть инженеров продуктовой разработки. Ту же долю называла и сама компания: анонсируя 2 ноября новый внутренний «спринт» по безопасности, она упомянула прошлый, когда четверть её продуктовых инженеров искала и устраняла слабые места в её системах. В октябре The Wall Street Journal писала, что OpenAI учит сотрудников замечать вербовку, а перед увольнением трёх исследователей проверила их телефоны.

Интрига: в новом спринте атаковать защиту OpenAI с помощью её же моделей будут исследователи стартапа по кибербезопасности Cathedral Systems. В конце октября этот стартап заявил, что проник во внутренние системы Anthropic, включая каналы Slack с обсуждением моделей. Anthropic утверждает, что стартапу достались лишь деловые контакты клиентов и партнёров и базовые сведения об учётных записях пользователей. Заодно OpenAI подняла награды за найденные уязвимости: середины диапазонов выплат за находки средней, высокой и критической опасности выросли в среднем больше чем вчетверо. Потолок за исключительную критическую находку остался прежним, 100 тыс. долларов, но с бонусами теперь можно получить до 172 тыс.

Так уже было: утечки и взломы в ИИ-лабораториях случались и раньше:

• В 2023 году взломщик унёс из OpenAI сведения о GPT-4; компания утверждает, что он добрался только до каналов Slack, открытых всем сотрудникам. После этого тогдашний исследователь Леопольд Ашенбреннер показал части совета директоров свою записку «OpenAI — ведущая ИИ-лаборатория Китая».
• В июле исследователи компании по кибербезопасности Hacktron с помощью модели Anthropic взломали аккаунты ChatGPT нескольких сотрудников OpenAI и добрались до части её внутренних систем, в том числе до общего хранилища кода.
• В январе присяжные в Сан-Франциско признали виновным бывшего сотрудника Google, которого арестовали в марте 2024 года по обвинению в краже для Китая тысяч страниц о её ИИ-технологиях.