У 80% крупных компаний Европы и Ближнего Востока инциденты с ИИ дошли до руководства, по опросу IBM

В восьми из десяти крупных компаний Европы и Ближнего Востока за год инцидент с ИИ дошёл до совета директоров или высшего руководства. Правила работы с ИИ после этого поменяли лишь 40% из них, показал опрос IBM.

Почему это важно: компании дают ИИ-агентам, то есть программам, которые сами выполняют задачи, всё больше самостоятельности. А кто отвечает за их ошибки, большинство так и не решило.

Повод: с 14 по 24 сентября исследовательская компания Censuswide¹ по заказу IBM опросила 3 221 руководителя компаний, где работает от 1 000 человек. Опрос шёл в Великобритании, Франции, Германии, Италии, Испании, Нидерландах, Саудовской Аравии и ОАЭ. Инцидентом считали сбой ИИ-агента, утечку данных, ошибку в решении, принятом с помощью ИИ, или взлом.

В цифрах: агентов пока применяют немногие, но большинство ждёт от них большей самостоятельности:

• 35% руководителей говорят, что их компании уже используют ИИ-агентов в рабочих системах.
• Три четверти ждут, что к 2027 году агенты получат хотя бы частичную самостоятельность в решениях.
• Лишь 37% считают, что их нынешняя система контроля рассчитана на рост числа агентов.

Расклад: на бумаге ответственность распределена почти везде, но притормаживать внедрение компании не спешат:

• 98% закрепили ответственность за риски ИИ за советом директоров, у 26% для этого есть отдельный комитет.
• Если внедрение обгоняет правила, 56% продолжают его в согласованных пределах риска, и только треть ждёт, пока правила подготовят.
• Только 37% посчитали, сколько денег могут потерять из-за пробелов в контроле ИИ, и показали этот расчёт совету директоров.
• 54% признают, что их правила плохо покрывают ИИ, которым пользуются поставщики и партнёры, и лишь 21% постоянно следят за этим риском.

Но: о том, кто отвечает за вред от ИИ-агентов, единого мнения нет. Чаще всего называли ИТ-директора или технического директора, но и этот ответ выбрали лишь 17% опрошенных.

О юридической ответственности, если ИИ причинит серьёзный вред, мнения разделились:

• 20% считают, что её надо делить пропорционально между компанией, которая применяет ИИ, и его поставщиком.
• 19% хотят, чтобы это решали правила регулятора, которых пока толком нет.
• 14% возлагают её на поставщика ИИ.

Детали: вот что, по словам руководителей, понадобится, если к 2027 году агенты начнут принимать решения без одобрения человека на каждом шаге:

• Договоры или законы, где прописано, отвечает ли поставщик ИИ за сбои агентов: их назвали 33%.
• Заранее заданные пороги, после которых решение передают человеку: 32%.
• Наблюдение за агентами в реальном времени и журнал их решений и действий: 30%.
• Возможность сразу остановить всех агентов в компании: 29%.

«Управление должно быть встроено в саму работу агентов: с чёткими границами того, что им можно, с понятным ответственным, когда что-то пошло не так, и с контролем в реальном времени», — сказала Ана Паула Ассис, старший вице-президент IBM, которая руководит бизнесом компании в Европе, на Ближнем Востоке, в Африке и Азиатско-Тихоокеанском регионе.

Если шире: темп задают регуляторы, и в разных странах по-разному:

• Со 2 декабря 2027 года начнут применяться требования Регламента Европейского союза об искусственном интеллекте² к системам высокого риска в образовании, занятости и других чувствительных областях, а к системам внутри продуктов вроде лифтов и игрушек — со 2 августа 2028 года. В ЕС 41% компаний ускоряют подготовку к декабрьскому сроку, ещё 35% идут по плану.
• В Великобритании главным стимулом вкладываться в контроль ИИ чаще всего называют ожидания отраслевых регуляторов (27%).
• В Саудовской Аравии и ОАЭ на первом месте требования национальных стратегий ИИ: их назвали 61%.

Между строк: опрос заказала IBM, которая сама продаёт компаниям программы для контроля над ИИ.

Так уже было: 8 июня IBM вместе с Oxford Economics опубликовала опрос 2 000 руководителей по всему миру, в основном ИТ-директоров и технических директоров. По их ответам, компании в среднем за год сталкивались с 54 инцидентами с ИИ-агентами, а полностью готовыми к росту числа агентов себя назвали лишь 11%.