OpenAI представила тест для ИИ-агентов на данных биологических опытов
BioBasicsBench из 100 задач по настоящим экспериментам проверяет, умеют ли ИИ-агенты разбирать сырые лабораторные данные, находить ошибки и видеть, когда данные не подтверждают вывод.
OpenAI вместе с биотехнологической компанией Ligo Biosciences1 представила BioBasicsBench — бенчмарк2, который проверяет, как ИИ-агенты справляются с рутинной обработкой данных биологических опытов.
Почему это важно: по этому тесту OpenAI собирается следить не только за пользой моделей для науки, но и за рисками. Компания прямо связывает успехи моделей в таких задачах с биобезопасностью — защитой и от случайного вреда, и от умышленного злоупотребления.
Детали: в бенчмарке 100 задач из настоящих экспериментов. Агент должен понять сырые лабораторные данные, найти в них ошибки и заметить, когда данные не подтверждают вывод. Ускорение биологии, считают в OpenAI, начинается с того, чтобы правильно делать повседневную работу, — и бенчмарк показывает, где моделям ещё нужно подтянуться.