Microsoft создала вымышленные компании, чтобы проверять на них Copilot

Microsoft проверяет ИИ-помощника Copilot на трёх вымышленных компаниях — из фармацевтики, рынков капитала и разработки программ — с сотнями виртуальных сотрудников, чтобы не трогать данные реальных клиентов.

Почему это важно: миллионы офисных сотрудников каждый день поручают Copilot писать черновики документов и пересказывать встречи. Настоящие данные компаний для тестов брать нельзя, а общие бенчмарки¹ пропускают ошибки, характерные для отрасли.

Повод: систему, которая создаёт эти компании, — Industry Evaluation Data Generation Platform — выложили во внутренний каталог Microsoft и сделали первым стандартным эталоном для оценки Copilot. Раньше команды собирали тестовые наборы вручную и в несовместимых форматах. Теперь любая команда, запустив систему с теми же настройками, получает точно такой же набор.

Как это работает: система сначала строит компанию с письмами, встречами, документами и иерархией, потом сама придумывает вопросы к Copilot:

• Роли и частоту задач настраивают по O*NET — базе профессий Минтруда США, должности берут из вакансий, масштаб — из отчётности перед Комиссией по ценным бумагам и биржам США.
• Переписка развивается неделями, идут проекты, меняется структура: без этого ответ на вопрос «Что команда решила в прошлый четверг?» не на чем проверить.
• Конвейер из шести этапов берёт библиотеку типовых рабочих задач, отбирает подходящие для отрасли и с помощью ИИ превращает их в вопросы по данным компании.
• Затем он переписывает вопросы человеческим языком и проверяет каждый на точность и неповторяемость.

Детали: у каждой компании своя рабочая рутина:

• Фармацевтическая готовит документы для регулятора, обсуждает клинические испытания и собирает отделы на совещания по безопасности.
• Участник рынка капитала ведёт сделки, переписывается о соблюдении правил и разбирает портфели клиентов.
• ИТ-компания планирует короткие циклы разработки, обсуждает проверку кода и готовит запуск продукта.

Между строк: вымышленные данные избавляют и от согласований. Команды Microsoft берут эти наборы для экспериментов и сравнений без проверки конфиденциальности, которая иначе замедляла бы работу. Созданные письма и документы автоматически проверяют на вредные материалы и личные сведения.

В цифрах: оценки самой Microsoft:

• Сводный показатель сходства с настоящими компаниями вырос на 39% по сравнению с первым вариантом генерации.
• Некоторые из вымышленных компаний получили оценку качества выше 0,9 из 1,0.
• Автоматизация экономит примерно 100 тыс. долларов на каждом тестовом наборе и 300 тыс. долларов на всём проекте.

Но: эти цифры описывают тестовые данные, а не сам Copilot. Как помощник справляется с такими проверками, компания не назвала.

Что дальше: команда хочет растянуть жизнь вымышленных компаний на месяцы и годы и научиться оценивать системы, которые совершают действия, а не только пишут текст.

Такая система уже есть: ещё в сентябре Microsoft добавила в Copilot агента Autopilot, который сам ведёт проекты, не дожидаясь запросов.