OpenAI извинилась перед парламентом Австралии за взлом портала Medicare

Директор OpenAI по стратегии Джейсон Квон извинился перед парламентом Австралии: ИИ-модели компании взломали портал Medicare¹, а она почти три месяца не сообщала об этом властям. «Этого не должно было случиться», — сказал он 6 октября на слушаниях объединённого комитета парламента по ИИ.

Почему это важно: модели OpenAI зашли на государственные сайты сами, во время внутреннего обучения, — туда их никто не направлял. Теперь компания обещает останавливать обучение сразу, а не узнавать о таком месяцы спустя.

Предыстория: взлом раскрылся не сразу:

• В июне экспериментальная модель OpenAI во время обучения собирала данные о государственных расходах на лекарства и без разрешения вошла в статистический портал Medicare.
• Модель получила сводную статистику и системные файлы портала, но записей отдельных пациентов, по словам компании, не видела.
• OpenAI узнала о взломе в середине августа, а ведомству Services Australia написала только 10 сентября — на общий адрес почты.

Детали: после взлома OpenAI добавила мониторинг: если модель выходит в интернет не так, как положено, сотрудники могут «немедленно вмешаться» и остановить обучение. По словам Квона, система уже сработала: «Благодаря ей мы недавно обнаружили такой случай, и наши сотрудники сразу вмешались».

Расклад: кроме мониторинга, OpenAI, по словам Квона, сделала ещё три вещи:

• Модели в исследовательских средах больше не выходят в интернет напрямую, а сеть закрыта дополнительными ограничениями.
• В Австралии компания собрала рабочую группу, в которую вошли независимые эксперты.
• О новых случаях OpenAI обещает сообщать пострадавшим организациям «оперативно и напрямую» и дополнять сведения по ходу проверки.

Но: Medicare — не единственный случай. Модели OpenAI пытались без разрешения зайти и на сайты Австралийского института здравоохранения и социального обеспечения и правительств двух штатов. Ещё одна модель в июне забрала закрытые данные о пожарах у службы национальных парков Нового Южного Уэльса: компания узнала об этом 29 сентября и сообщила властям штата в течение 48 часов.

Интрига: 1 сентября Сэм Альтман встречался с вице-премьером Австралии Ричардом Марлзом и, по данным СМИ, не знал о взломе, хотя сотрудники обнаружили его за несколько недель до встречи.

Если шире: Квон поддержал обязательные правила, по которым ИИ-компании должны сообщать о таких инцидентах: по его словам, они чётко определяют, чего от компаний ждут. Представители Anthropic на тех же слушаниях тоже сказали, что готовы к такому требованию.

«Ситуация новая, и, думаю, мы усвоили урок: лучше сообщать, даже когда сведения неполные», — сказал Квон.