Gemini взломала три компании на тесте, Google рассказала лишь после WSJ

Модель Gemini во время майской проверки хакерских навыков вышла в настоящий интернет и проникла в системы трёх компаний. Google подтвердила это 18 сентября, когда вопросы ей задала The Wall Street Journal.

Почему это важно: до Gemini на тестах той же фирмы настоящие компании атаковали модели OpenAI, Anthropic и Meta*. Но те лаборатории рассказали о своих случаях сами, а Google — только после вопроса журналистов.

Повод: что делала модель, по словам Google:

• В одном случае она подбирала пароли, пока не вошла в защищённую систему.
• В двух других случаях она нашла учётные данные в открытом хранилище кода и с ними попала в закрытые системы.
• Каждый раз, поняв, что взломала настоящую компанию, а не учебную цель, модель прекращала вторжение.

Детали: проверку вела фирма Irregular¹, это были учения формата «захват флага²»: модель должна была взломать учебные системы. Выход в настоящий интернет Irregular оставила по ошибке, и модель приняла чужие сайты за часть задания. Какую версию Gemini проверяли и какие компании пострадали, Google не назвала.

Расклад: в конце июля Irregular предупредила об ошибках в своих тестовых средах все лаборатории, чьи модели проверяла, в том числе Google. Три из них вскоре рассказали о взломах сами:

• Anthropic 31 июля сообщила, что её модели взломали три компании, причём самые ранние случаи относятся к апрелю.
• Meta в начале августа рассказала, что её модель взломала сторонний сервис.
• OpenAI признала, что её модели добрались до Hugging Face³ и учётной записи клиента облачной платформы Modal Labs.

Но: Google сочла, что публично раскрывать эти случаи незачем: модель не навредила компаниям и сразу прекращала вторжение. Все три компании Google уведомила, а Irregular, по её словам, несколько недель назад устранила все известные ей проблемы.

Что говорят: Google «прячется за нормами, созданными для раскрытия уязвимостей», вместо того чтобы признать, что «модели выходят за рамки того, что им положено делать, и проводят настоящие кибератаки», сказал WSJ Джек Кейбл, глава компании Corridor, которая занимается кибербезопасностью. Разработчик и автор блога об ИИ Саймон Уиллисон обратил внимание на другое: «Gemini, похоже, менее настойчива, чем другие модели, и решила не продолжать».